深度学习入门：神经网络与反向传播

文档摘要

深度学习入门：神经网络与反向传播神经网络基础感知机（Perceptron）基本单元：多层感知机（MLP）结构：前向传播：激活函数 Sigmoid Tanh ReLU（推荐） Leaky ReLU 损失函数均方误差（MSE）交叉熵损失反向传播数学推导链式法则：实现优化算法随机梯度下降（SGD）动量法（Momentum） Adam（推荐）正则化技术 L1/L2 正则化 Dropout Batch Normalization 实战示例手写数字识别（MNIST）常见问题梯度消失/爆炸解决方案：使用 ReLU 激活函数 Batch Normalization 权重初始化（Xavier/He）过拟合解决方案：增加数据量 Dropout L1/L2