4.2 多位师傅会诊一个徒弟：多教师蒸馏

4.2 多位师傅会诊一个徒弟：多教师蒸馏

本节摘要：一位师傅有一套盲区，多位师傅互补盲区。多教师蒸馏让一个学生同时向多个教师学软化输出，用加权或投票融合师傅们的意见。本节讲两种融合策略（输出加权与会诊仲裁）、权重怎么定、意见冲突怎么办，以及什么时候值得请多位师傅。

1.3 提过"把多个模型的智慧装进一个身板"的价值，本节把它展开成完整做法。这是第四章师资来源的第一种变体：师傅不止一位。

为什么要多位师傅

集成学习的老经验：几个各有所长的模型投票，成绩通常好于其中任何一个。但集成的推理成本是成员之和，线上装不下。多教师蒸馏是集成的"压缩式消费"——训练期让集成当师傅，部署期只留学生。学生的上限因此有机会超过任何一位单一教师：每位师傅的盲区被其他师傅的判断对冲，学生学到的是一份"会诊后的分寸感"。

图 4-1 两种会诊方式：加权融合与会诊仲裁

两种融合策略

策略一：输出加权融合。 每个样本的软目标等于各位师傅软化输出的加权和，权重反映各自可靠度。权重怎么来？三条路：按全体验证集精度归一化；按样本动态分配——某位师傅对这类样本的历史正确率高就多听它的；按当前输出熵分配——输出越自信权重越大。动态权重通常好于静态权重，因为它逼近了"会诊"的本意。

策略二：会诊仲裁。 师傅们意见分歧大的样本（比如输出分布的 KL 彼此超过阈值），不做平均，改走仲裁：取多数一致的最高置信结论，或引入一个小的仲裁网络专门学"听谁的"。仲裁式在教师间风格差异大时更稳，成本是要多维护一套仲裁逻辑。

import torch
import torch.nn.functional as F

def multi_teacher_soft_target(t_logits_list, weights=None, T=4.0):
    """多教师软目标合成：默认按输出熵做动态加权。
    t_logits_list 是各位教师对同一批数据的 logits。"""
    softs = [F.softmax(l / T, dim=-1) for l in t_logits_list]
    if weights is None:
        # 动态权重：熵越小（越自信）的教师话语权越大
        ents = torch.stack([-(s * s.log()).sum(-1) for s in softs])  # K x B
        w = F.softmin(ents, dim=0)          # 熵小者权重大，K x B
        w = w.unsqueeze(-1)                  # K x B x 1
        softs = torch.stack(softs)           # K x B x C
        return (w * softs).sum(0)            # B x C
    w = torch.tensor(weights, device=softs[0].device).view(-1, 1, 1)
    softs = torch.stack(softs)
    return (w * softs).sum(0)

t1 = torch.randn(8, 10) + 4.0    # 教师甲：偏好明确
t2 = torch.randn(8, 10)          # 教师乙：输出犹豫
soft = multi_teacher_soft_target([t1, t2])
print("合成软目标首行:", soft[0].round(decimals=3))
# 输出示例：
# 合成软目标首行: tensor([0.212, 0.198, 0.091, 0.104, 0.101, 0.089, 0.097, 0.108, 0.092, 0.108])
# 熵加权让"有主见的师傅"主导样本，犹豫的师傅自动让位。
​

仲裁策略的最小实现也不复杂——先量分歧，分歧小的样本走加权平均，分歧大的样本交给"多数意见"：

# 分歧门控的多教师损失：平时听加权意见，吵翻了听多数派
import torch
import torch.nn.functional as F

def gated_multi_teacher_loss(s_logits, t_logits_list, y, T=4.0,
                             alpha=0.9, kl_gate=0.8):
    softs = torch.stack([F.softmax(l / T, dim=-1) for l in t_logits_list])
    avg = softs.mean(0)                              # 加权意见（等权示意）
    with torch.no_grad():
        kl = torch.stack([F.kl_div(avg.log(), s, reduction="none").sum(-1)
                          for s in softs])           # 各师与平均意见的分歧
        conflict = kl.amax(0)                        # 每样本最大分歧，B
        gate = (conflict > kl_gate).float()          # 1 = 吵翻了，0 = 正常
        # 多数派：取与平均意见最近的教师输出当仲裁结论
        nearest = kl.argmin(0)
        arb = softs[nearest, torch.arange(softs.size(1))]
    target = gate.unsqueeze(-1) * arb + (1 - gate.unsqueeze(-1)) * avg
    soft = F.kl_div(F.log_softmax(s_logits / T, dim=-1), target,
                    reduction="batchmean") * T * T
    hard = F.cross_entropy(s_logits, y)
    return alpha * soft + (1 - alpha) * hard, gate.mean().item()

# 输出示例（一批 128 样本）：
# (tensor(1.362), 0.078)
# 第二个返回值是进入仲裁的样本占比——长期高于 0.3 说明教师组合
# 本身冲突太大，该换师傅而不是改门控。
​

门控值 0.078 的读法：这批数据里约百分之八的样本师傅们吵翻了，走了多数派通道。这个比例本身就是教师组合健康度的仪表盘——配伍合理的师资，分歧样本天然只占一小截。

一条完整案例：三位师傅会诊出部署学生

背景。 团队维护三个历史模型：服务端大模型甲（91.2%）、上一代模型乙（90.8%）、针对暗光数据专项训练的模型丙（89.9%）。集成版实测 92.5% 但三份权重线上跑不动。目标：单学生 92% 以上。

操作。 学生选 800 万参数的中型网。训练数据按来源分两路：带标签部分走硬损失；全体数据走多教师软目标，合成用熵动态加权，温度 4，alpha 0.9。额外做了一个鲁棒性细节：每周用最近线上数据给三位教师各算一次分桶正确率，桶级可靠度并入权重，让"丙在暗光样本上的话语权"随数据反映出来。

结果。 单教师甲蒸馏的基线学生 90.9%；双师（甲乙）91.8%；三师熵加权 92.4%，逼近集成上限 92.5，达到目标。推理成本只有集成的五分之一。

解读。 收益主要来自盲区互补：事后分错误类型统计，三师学生在"暗光 + 纹理类"交叉难例上的错误率比单师版低三成——这正是丙与甲各自擅长面的并集。也验证了熵动态加权的价值：静态等权版本 91.9%，差 0.5 个点，全部丢在教师丙不擅长的样本上被它拉偏的那部分。

变式。 教师结构迥异（一个 CNN 一个 Transformer）时直接融合 logits 会有风格冲突，可按 2.3 的思路融合到"关系层"：对齐学生对样本间关系的判断，而不是对齐某个具体输出；教师多到七八位时，可以先用互相蒸馏把七压成一两个"首席教师"再教学生，链路更长但每环更稳。

⚠️ 常见坑：多教师直接等权平均。风格迥异的教师输出平均后，分布会"两头不靠"——既丢了甲的锐度，也丢了丙的暗光偏好，学生学到手的是一锅温吞水。权重必须可靠度敏感。

💡 关键直觉：多教师蒸馏的收益公式是"互补度减去冲突成本"。挑师傅时别看绝对精度，看他们在错误类型上的重叠度——错误类型几乎重合的两位师傅，请第二位基本白花钱。

本节要点回顾

• 动机：把集成的高上限压进单个学生的身板，训练期消费集成、部署期只留学生。
• 两种融合：输出加权（静态可靠度或动态熵权）与分歧仲裁，动态加权通常是默认起点。
• 权重来源：验证集精度、分桶历史正确率、输出熵，三层可靠度信号可叠加。
• 案例要点：三师熵加权逼近集成上限，收益集中在教师擅长面的交叉难例。
• 挑选原则：按错误类型互补度选师傅，不看绝对精度排名。