第4章 深度学习:梯度、结构与训练的追问


第 4 章 · 深度学习:梯度、结构与训练的追问

本章要回答的三个问题:反向传播为什么高效,白板推导怎么做才不乱?CNN 的感受野、参数量这些数字怎么现场算?训练不收敛或精度上不去,优化器、归一化、初始化的排查顺序是什么?

为什么会有这一章

深度学习的面试题有一种独特的「算得起」风格:面试官不满足于你听说过注意力机制,而是要你现场算感受野、推反向传播、比较优化器的更新规则。这些题的共同母语是梯度——第 1 章的偏差方差、第 2 章的凸优化、第 3 章的正交投影,在这里全部汇流成一条主干:损失对参数的导数怎么算、怎么用、用的时候会出什么问题。

本章按「机制、结构、训练」分四节推进。4.1 用一个两层网络把链式法则讲到能默写;4.2 与 4.3 分别处理空间结构与序列结构,追问集中在可计算的细节(感受野、参数量、梯度流动);4.4 把训练崩溃的排查整理成有序的决策路径。四节合起来,覆盖深度学习基础轮的全部高频战场。

读完能解决什么

  • 能在白板上对两层网络完成前向与反向的完整符号推导,说清「反向传播是动态规划而非魔法」;
  • 能现场计算卷积输出尺寸、感受野与参数量,解释权值共享与池化的设计动机;
  • 能画出 RNN 沿时间展开图,解释梯度消失与爆炸的成因、LSTM 门控的对策、注意力对串行瓶颈的釜底抽薪;
  • 能比较 BGD、SGD、Momentum、Adam 的更新规则与适用场景,按排查顺序处理「loss 不降」「训练震荡」这类现场问题。

图:本章四节的梯度主线

各节怎么分工

节 主问题 追问落点
4.1 反向传播 链式法则怎么落到矩阵运算 前向缓存什么;梯度消失的连接点
4.2 CNN 卷积在算什么,成本怎么估 感受野堆叠;池化取舍与参数量对比
4.3 序列建模 RNN 为何失忆,注意力为何接管 展开图与梯度流;Transformer 的替换逻辑
4.4 训练技巧 训不动时先查什么 优化器对比矩阵;归一化与初始化的配合

先决条件

需要第 1 章的梯度下降直觉与链式求导的微积分基础;4.2 前建议回看 3.2 节「投影」的几何感,4.4 前建议复述一遍偏差方差框架。不需要任何框架源码经验,本章全部推导停留在符号层面。

往下走到哪

本章解决「单模型怎么训」,第 5 章往前走一步处理「数据进来之前」,第 6 章往后走一步处理「训完怎么信」。深度学习的追问链在资深面试里会继续向分布式训练、显存优化与部署延伸,但那一切都建立在本章这四个地基之上——先把链式法则推顺,后面的路都是下坡。

通关自测

  • 两层网络的反向传播能否在白板完成,每步说明「上游梯度乘本层局部导数」?
  • 显存为什么训练比推理贵,缓存的是什么?
  • 输出尺寸、感受野、参数量三个公式能否现场代数验证?
  • RNN 梯度消失的连乘机制、LSTM 的加法通路、注意力对路径长度的压缩,能否构成一条完整因果链?
  • 训练不收敛的五步排查清单能否按「先便宜后昂贵」背出?

深度学习章的自测标准是「可计算」:所有名词都要能落到数字或公式上。报不出感受野的 CNN 回答、画不出展开图的 RNN 回答,在资深面试里都不算完成作答。

与前章的两条暗线

第一条暗线连着第 2 章:XGBoost 的显式正则、Boosting 的逐步纠错与深度学习的残差连接、权重衰减,是同一组正则化思想在不同架构里的投影,被追问「深度学习和传统机器学习的关系」时,这条线就是答案。第二条暗线连着第 6 章:深度学习的训练诊断(梯度范数、学习率扫描)与超参调优方法论完全同构——优化器章的排查清单就是调参章纪律在训练现场的执行版。两条暗线讲得出,你的知识就是网;讲不出,就是孤岛。

再补一条考频极高的综合性自测:给你一个「训练 loss 下降、验证 loss 先降后升」的曲线,能否在三十秒内给出完整解读?——模型在拐点前学习有效模式,拐点后开始记忆训练噪声,这正是过拟合的时间维显影;对策按优先级是早停、正则(权重衰减与随机失活)、增广、加数据。这个解读串起了本章 4.1 的梯度机制与第 1 章的偏差方差框架,是深度学习面试里性价比最高的一个故事。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U