第三章:深度学习基础编队


第三章 · 深度学习基础编队

本章要回答的三个问题:神经网络凭什么能学出非线性关系?一轮训练里梯度到底怎么流动?卷积与循环两类结构各自解决了图像和序列的什么先天矛盾?这一编队从"会调包"打到"会推导",公式全部手工走一遍。

为什么会有这一章

深度学习理论题的分水岭,在于是否亲手推过一遍反向传播。没推过的人答题靠形容词("梯度会消失"),推过的人答题靠数值("这一层的梯度是上游梯度乘本层激活的导数,链上五个小于零点二五的因子连乘,量级就是千分之一")。面试官只要追问一层,两种人立刻分开。

本章三关按"积木 → 动力学 → 结构"展开:先把神经元与激活函数这块积木的数值性质摸透,再让梯度在计算图里真正流动一轮,最后把积木组装成卷积网络与循环网络,看结构如何化解数据形态带来的矛盾。第二章的交叉熵与诊断框架在本章全程在线服务。

读完能解决什么

  • 说清激活函数存在的必然性,并用数值实验对比 sigmoid、tanh、ReLU 的梯度行为;
  • 在纸面上完成一个两层网络的单步反向传播,数值与代码对得上;
  • 计算卷积输出尺寸与感受野,解释参数共享与权值连接数差异;
  • 说清循环网络处理序列的优势与梯度消失病根,以及门控机制的应对思路。

各节怎么分工

节号 回答哪个问题 关键产出
第一节 神经网络与激活函数关卡 积木为什么长这样 激活函数梯度数值对照实验
第二节 反向传播手工推演关卡 训练动力学怎么走 两层网络单步前向与反向全算例
第三节 CNN与RNN结构辨析关卡 结构如何匹配数据 输出尺寸与感受野计算 + 序列病根分析

本章关卡地图

本章关卡地图

前向与反向全景

左半环是前向(第二节关卡上半场),右半环是反向(下半场)。第一节研究 C 与 H 处的数值性质,第三节研究 B 与 C 如何换成卷积或循环形式。一张图看清三关各自的阵地。

本章可考核知识点清单

知识点 达标线 对应关卡
非线性的必然性 论证没有激活函数的深层网络等价于单层线性变换 第一关
梯度饱和现象 解释 sigmoid 两端导数趋零的数值根源与深层连锁后果 第一关
输出层配置 按任务类型配对输出层激活与损失函数 第一关
链式法则推演 在计算图上手工完成单层的前向与反向 第二关
单步更新全程 报出权重更新算式里每项数值的来源 第二关
卷积尺寸与感受野 套公式报输出尺寸、沿层数推感受野 第三关
循环网络病根 说清时间梯度连乘导致的长距离依赖乏力 第三关
门控缓解思路 用遗忘门与输入门的分工解释长记忆如何保住 第三关

这张清单是本章的"验收单":深度学习的答题分水岭就在"推得动"三个字,逐条自测,推不动的条目回关卡里把数值再走一遍。清单条目与关卡产出一一对应,不存在"表上有、关卡里没练"的悬空项。

先决条件

  • 掌握第二章:交叉熵、梯度下降、过拟合诊断;
  • 链式法则必须熟:全章所有推导只是链式法则的反复应用;
  • 建议开一个交互环境,边推边验,数值对不上立刻停下来排查。

往下走到哪

打完本章,你的"梯度直觉"就位。下一编队(自然语言处理)的高地——注意力机制——本质上是把循环结构对长距离依赖的无力,替换成一次全局矩阵乘法;而那里 softmax 的数值稳定性技巧,正是本章激活函数关卡的老朋友。卷积则直接开进第五章计算机视觉编队,成为主角。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U