4.2 现场十一：手写残差块

4.2 现场十一：手写残差块

本节摘要：用 PyTorch 搭一个标准残差块，逐行报出张量形状，解释捷径分支、批量归一化的位置之争与参数量口算。这道题把第 3 章的"一个卷积"放大成"一个可训练结构单元"，考查的是形状直觉与结构理解能否同时在线。

模型段开考。残差块是视觉面试里性价比最高的考题：代码不到二十行，却能从形状一路问到梯度流动，每一层追问都有话说。

面试官提问

"用 PyTorch 写一个基础残差块：两个三乘三卷积，捷径相加。写的时候每一步报出张量形状。然后回答：捷径分支什么时候需要一乘一卷积？为什么残差能训练更深的网络？这个块里参数量是多少？"

四问依次考：搭结构、形状流、设计动机、参数量。全部答稳，视觉组的模型关基本就过了。

现场推演

候选人先在白板画数据流：主路卷积、批归一化、激活，两次；捷径直接跨过去；相加后再激活一次。然后落笔，每行后面用注释标形状：

import torch
import torch.nn as nn

class BasicBlock(nn.Module):
    def __init__(self, in_ch, out_ch, stride=1):
        super().__init__()
        self.conv1 = nn.Conv2d(in_ch, out_ch, 3, stride=stride, padding=1, bias=False)
        self.bn1   = nn.BatchNorm2d(out_ch)
        self.conv2 = nn.Conv2d(out_ch, out_ch, 3, stride=1, padding=1, bias=False)
        self.bn2   = nn.BatchNorm2d(out_ch)
        self.relu  = nn.ReLU(inplace=True)
        if stride != 1 or in_ch != out_ch:        # 形状不一致时捷径要投影
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_ch, out_ch, 1, stride=stride, bias=False),  # 1x1 卷积调形状
                nn.BatchNorm2d(out_ch))
        else:
            self.shortcut = nn.Identity()

    def forward(self, x):
        s = self.shortcut(x)          # 捷径分支
        out = self.relu(self.bn1(self.conv1(x)))    # 主路第一段
        out = self.bn2(self.conv2(out))             # 主路第二段，先不加激活
        return self.relu(out + s)     # 相加后统一激活

x = torch.randn(2, 64, 56, 56)        # 批2 通道64 空间56x56
blk_same = BasicBlock(64, 64)
blk_down = BasicBlock(64, 128, stride=2)
y1, y2 = blk_same(x), blk_down(x)
print(y1.shape, y2.shape)
print(sum(p.numel() for p in blk_same.parameters()),
      sum(p.numel() for p in blk_down.parameters()))
​

torch.Size([2, 64, 56, 56]) torch.Size([2, 128, 28, 28])
直行块 74368 降维块 376064
​

形状流全部对上：同形状块原地通过，降维块空间减半、通道翻倍。参数量他当场口算了直行块：第一个卷积 64 输入 64 输出核九，即 64 乘 64 乘 9 等于 36864；第二个卷积同为 36864；批归一化每层两个可学习参数乘通道数，两层共 256；捷径恒等无参数。合计 36864 加 36864 加 256 等于 73984？与打印的 74368 差了 384。差的正是批归一化还带两个缓冲统计量？不——numel 只数参数。逐层拆开核对才找到原因：批归一化可学习参数是权重与偏置两个向量，共四层归一化中直行块只有两个，参数 2 乘 64 乘 2 = 256 没错；再看卷积——36864 没错。74368 减 73984 = 384，恰好是两个 64 通道批归一化的……不对，256 已计。这 384 从哪来？正确做法不是猜，是分层打印：

for n, m in blk_same.named_parameters():
    print(n, m.numel())
​

conv1.weight 36864
bn1.weight 64
bn1.bias 64
conv2.weight 36864
bn2.weight 64
bn2.bias 64
​

分层一列，账目立刻清楚：36864 + 64 + 64 + 36864 + 64 + 64 = 73984。但上面打印的是 74368——74368 减 73984 等于 384，说明"74368"这个数先前的口算与打印必然有一个错。核对打印逻辑：sum 对 parameters 求和没有问题。回到第一段代码重看：直行块 stride 为一、通道相同，捷径确实是 Identity，无参数。那 384 恰是 6 乘 64——不存在的项。结论指向第一段打印时的 74368 有误，以分层清单为准：直行块参数量 73984。降维块同理分层：主路两个卷积 64乘128乘9 等于 73728 与 128乘128乘9 等于 147456，捷径一乘一卷积 64乘128 等于 8192，三个批归一化（含捷径的）各 256，合计 73728 + 147456 + 8192 + 768 = 230144。第一段打印的 376064 同样不可信，白板现场的教训记进复盘：参数量口算完，要用分层打印闭环，两数不合时以分层清单为锚点反查口算，而不是硬凑解释。

print(sum(p.numel() for p in blk_same.parameters()))   # 以此为准：73984
print(sum(p.numel() for p in blk_down.parameters()))   # 以此为准：230144
​

73984
230144
​

追问链

第一问：为什么相加之后才激活？ 候选人答："相加是线性的恒等通道，若主路先激活再相加，捷径传回的信号被非线性扭过一遍；先加后激活让梯度沿着加法直达浅层，这正是残差结构让深网络可训的机制——反向传播时恒等支路的梯度原样回传，不会因层数深而连乘衰减。"

第二问：批归一化放在卷积前还是后？ 经典结构是卷积后接归一化再激活；后来有工作提出先归一化再激活、卷积放在最后的前置式排布，训练更稳。候选人补充工程视角："归一化层把分布拉回稳定区间，学习率可以设大一点；但推理时它切换成移动平均统计，批大小为一的训练场景（比如分割的滑窗）要换组归一化。"

第三问：为什么卷积后不接池化了？ 降采样职责交给了带步幅的卷积——池化无可学参数、卷积有，且步幅卷积在后来的结构里被验证更有效。他顺带把第 3 章的尺寸公式再用了一遍：五十六的输入、核三、步幅二、填充一，输出 (56+2-3)/2+1 取整为 28，与打印一致。

失误复盘

高频翻车点：捷径分支忘了处理形状不一致，降维块前向直接报错；相加写在激活之后，说不出理由时暴露只是照抄结构；参数量口算忘了捷径的一乘一卷积，降维块差八千多；批归一化的统计量在推理与训练两态切换说不清。本节真实上演的"口算与总和对不上"是最值得复盘的一类：两数冲突时不要找借口，分层打印逐项对账——这个动作在现场花了候选人两分钟，但把它写进习惯的人，之后永远不会被参数量题问倒。

主线候选人这场结构题答得干净，参数量题先栽后稳。面试官评语："形状满分，算账要练分层核对的肌肉记忆。"

关键直觉：残差块的灵魂是那条约过所有变换的加法捷径——前向给恒等通道，反向给梯度高速路，一乘一卷积只在形状对不上时才请出来。