本章要回答的三个问题:反向传播为什么高效,白板推导怎么做才不乱?CNN 的感受野、参数量这些数字怎么现场算?训练不收敛或精度上不去,优化器、归一化、初始化的排查顺序是什么?
深度学习的面试题有一种独特的「算得起」风格:面试官不满足于你听说过注意力机制,而是要你现场算感受野、推反向传播、比较优化器的更新规则。这些题的共同母语是梯度——第 1 章的偏差方差、第 2 章的凸优化、第 3 章的正交投影,在这里全部汇流成一条主干:损失对参数的导数怎么算、怎么用、用的时候会出什么问题。
本章按「机制、结构、训练」分四节推进。4.1 用一个两层网络把链式法则讲到能默写;4.2 与 4.3 分别处理空间结构与序列结构,追问集中在可计算的细节(感受野、参数量、梯度流动);4.4 把训练崩溃的排查整理成有序的决策路径。四节合起来,覆盖深度学习基础轮的全部高频战场。
| 节 | 主问题 | 追问落点 |
|---|---|---|
| 4.1 反向传播 | 链式法则怎么落到矩阵运算 | 前向缓存什么;梯度消失的连接点 |
| 4.2 CNN | 卷积在算什么,成本怎么估 | 感受野堆叠;池化取舍与参数量对比 |
| 4.3 序列建模 | RNN 为何失忆,注意力为何接管 | 展开图与梯度流;Transformer 的替换逻辑 |
| 4.4 训练技巧 | 训不动时先查什么 | 优化器对比矩阵;归一化与初始化的配合 |
需要第 1 章的梯度下降直觉与链式求导的微积分基础;4.2 前建议回看 3.2 节「投影」的几何感,4.4 前建议复述一遍偏差方差框架。不需要任何框架源码经验,本章全部推导停留在符号层面。
本章解决「单模型怎么训」,第 5 章往前走一步处理「数据进来之前」,第 6 章往后走一步处理「训完怎么信」。深度学习的追问链在资深面试里会继续向分布式训练、显存优化与部署延伸,但那一切都建立在本章这四个地基之上——先把链式法则推顺,后面的路都是下坡。
深度学习章的自测标准是「可计算」:所有名词都要能落到数字或公式上。报不出感受野的 CNN 回答、画不出展开图的 RNN 回答,在资深面试里都不算完成作答。
第一条暗线连着第 2 章:XGBoost 的显式正则、Boosting 的逐步纠错与深度学习的残差连接、权重衰减,是同一组正则化思想在不同架构里的投影,被追问「深度学习和传统机器学习的关系」时,这条线就是答案。第二条暗线连着第 6 章:深度学习的训练诊断(梯度范数、学习率扫描)与超参调优方法论完全同构——优化器章的排查清单就是调参章纪律在训练现场的执行版。两条暗线讲得出,你的知识就是网;讲不出,就是孤岛。
再补一条考频极高的综合性自测:给你一个「训练 loss 下降、验证 loss 先降后升」的曲线,能否在三十秒内给出完整解读?——模型在拐点前学习有效模式,拐点后开始记忆训练噪声,这正是过拟合的时间维显影;对策按优先级是早停、正则(权重衰减与随机失活)、增广、加数据。这个解读串起了本章 4.1 的梯度机制与第 1 章的偏差方差框架,是深度学习面试里性价比最高的一个故事。