第3章 深度学习基础现场


第3章 深度学习基础现场

章节摘要:本章跟着"框架再收一层"的线走——上一章收走了机器学习库,这一章连神经网络层也要候选人自己搭:纯 numpy 写两层网络与反向传播、softmax 交叉熵的数值稳定、卷积前向的循环实现。三个现场是全册挂人最多的地方,也是"调包侠"与"懂原理的人"的分界线。

一条主线

面试官在机器学习现场结束时留的那句"把梯度接到两层网络上",就是本章的起点。主线候选人这次栽了跟头:两层网络写出来了,反向传播在中段卡壳,靠面试官提示"先写前向的每一行,反向就是每一行求导再倒着走"才补完。softmax 一题他答得漂亮,卷积一题则在输出尺寸上口头报错了一次。本章不回避这些踉跄——复盘的价值恰恰在踉跄处。

深度学习基础现场有个残酷的规律:题目之间是乘法关系不是加法关系。反向传播不会,softmax 的梯度也推不出;softmax 的指数本质不理解,卷积现场的数值问题同样看不出来。所以本章三节必须连着读。

沿途站点

现场七(两层网络) 是本章的地基:前向三行矩阵乘法,反向从损失出发逐行倒推。它把第 2 章的四段循环升级成"计算图上逐节点求导"的思维方式。

现场八(softmax 与交叉熵) 处理全册最著名的数值陷阱:大分数进指数直接溢出。减最大值的稳定写法、log-sum-exp 技巧、两个输出互证的验证方法,都在这一节。

现场九(卷积前向) 把第 2 章的向量化思想推到图像:四重循环的朴素版先保证正确,再谈 im2col 展开成矩阵乘法。输出尺寸公式是必考点。

图 3-1 本章三现场的能力递进与失分热点

图 3-1 本章三现场的能力递进与失分热点

三站的排布刻意从"最一般的网络结构"(全连接)走到"最常用的算子"(softmax)再到"视觉专用算子"(卷积),收在卷积上正好把接力棒交给第 4 章 CV 专场。

拐点与结论

本章的拐点在现场七的后半段:候选人补完反向传播后说了一句"原来反向就是前向每一行的导数倒着乘"。这句话标志着他从"背公式"切换到了"看计算图"——之后的 softmax 梯度他当场推了出来,没再背。理解一旦到位,下一题就顺了,这是深度学习代码题的典型节奏。

结论三条:前向写完先逐行标形状再写反向;数值稳定性问题要用实验演示而不是背诵;卷积尺寸公式要在白板上现推一遍而不是凭记忆报数。

读完你应该

  • 能独立写出带一个隐层的全连接网络前向与反向,并用数值梯度验证解析梯度
  • 能解释 softmax 减最大值不影响输出的原因,以及交叉熵配 softmax 时梯度为何只剩"预测减标签"
  • 能徒手推卷积输出尺寸公式,写四重循环版卷积前向并核对输出
  • 能说出 im2col 把卷积变成矩阵乘法的思路及其与第 2 章 KNN 展开式的同源性
  • 能解释零填充后输出尺寸不变的公式来源,以及补丁为什么不发明新信息
  • 在被提示卡壳时保持节奏:回到上一行,标形状,重推

下一章的接力

基础现场过关后,面试官把手里的笔转了半圈:"卷积你已经会算了,那 CV 的题就从这里出。"第 4 章的三个现场——数据增强、残差块、IoU 与 NMS——分别对应 CV 项目的数据、模型、后处理三段,张量形状的追问会在那里增加通道与批次两个维度。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U