2.1 神经网络基础\n\n## 前馈神经网络\n\n前馈神经网络是Embedding技术的基础架构，它通过多层神经元之间的连接来实现非线性映射。\n\n### 基本结构\n\n- 输入层：接收原始数据（如词的one-hot编码）\n- 隐藏层：进行特征变换和抽象\n- 输出层：产生最终结果\n\n### 激活函数\n\n激活函数为神经网络引入非线性：\n\n1. Sigmoid函数：\sigma(x) = \frac{1}{1 + e^{-x}}，将输出压缩到(0,1)区间\n2. Tanh函数：\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}，将输出压缩到(-1,1)区间\n3. ReLU函数：\text{ReLU}(x) = \max(0, x)，解决梯度消失问题\n\n### 损失函数选择\n\n均方误差（MSE）：\n- 适用于回归问题\n- \text{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2\n\n交叉熵损失：\n- 适用于分类问题\n- \text{CE} = -\sum_{i=1}^{n}y_i\log(\hat{y}_i)