本章要回答的三个问题:神经网络凭什么能学出非线性关系?一轮训练里梯度到底怎么流动?卷积与循环两类结构各自解决了图像和序列的什么先天矛盾?这一编队从"会调包"打到"会推导",公式全部手工走一遍。
深度学习理论题的分水岭,在于是否亲手推过一遍反向传播。没推过的人答题靠形容词("梯度会消失"),推过的人答题靠数值("这一层的梯度是上游梯度乘本层激活的导数,链上五个小于零点二五的因子连乘,量级就是千分之一")。面试官只要追问一层,两种人立刻分开。
本章三关按"积木 → 动力学 → 结构"展开:先把神经元与激活函数这块积木的数值性质摸透,再让梯度在计算图里真正流动一轮,最后把积木组装成卷积网络与循环网络,看结构如何化解数据形态带来的矛盾。第二章的交叉熵与诊断框架在本章全程在线服务。
| 节号 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 第一节 神经网络与激活函数关卡 | 积木为什么长这样 | 激活函数梯度数值对照实验 |
| 第二节 反向传播手工推演关卡 | 训练动力学怎么走 | 两层网络单步前向与反向全算例 |
| 第三节 CNN与RNN结构辨析关卡 | 结构如何匹配数据 | 输出尺寸与感受野计算 + 序列病根分析 |

左半环是前向(第二节关卡上半场),右半环是反向(下半场)。第一节研究 C 与 H 处的数值性质,第三节研究 B 与 C 如何换成卷积或循环形式。一张图看清三关各自的阵地。
| 知识点 | 达标线 | 对应关卡 |
|---|---|---|
| 非线性的必然性 | 论证没有激活函数的深层网络等价于单层线性变换 | 第一关 |
| 梯度饱和现象 | 解释 sigmoid 两端导数趋零的数值根源与深层连锁后果 | 第一关 |
| 输出层配置 | 按任务类型配对输出层激活与损失函数 | 第一关 |
| 链式法则推演 | 在计算图上手工完成单层的前向与反向 | 第二关 |
| 单步更新全程 | 报出权重更新算式里每项数值的来源 | 第二关 |
| 卷积尺寸与感受野 | 套公式报输出尺寸、沿层数推感受野 | 第三关 |
| 循环网络病根 | 说清时间梯度连乘导致的长距离依赖乏力 | 第三关 |
| 门控缓解思路 | 用遗忘门与输入门的分工解释长记忆如何保住 | 第三关 |
这张清单是本章的"验收单":深度学习的答题分水岭就在"推得动"三个字,逐条自测,推不动的条目回关卡里把数值再走一遍。清单条目与关卡产出一一对应,不存在"表上有、关卡里没练"的悬空项。
打完本章,你的"梯度直觉"就位。下一编队(自然语言处理)的高地——注意力机制——本质上是把循环结构对长距离依赖的无力,替换成一次全局矩阵乘法;而那里 softmax 的数值稳定性技巧,正是本章激活函数关卡的老朋友。卷积则直接开进第五章计算机视觉编队,成为主角。