6.5 蒸馏的边界与下一步

6.5 蒸馏的边界与下一步

本节摘要：收官一节换个口气：不教怎么做，说清这门手艺眼下做不到什么。四个已知边界——容量鸿沟、超参敏感、任务失配、理论滞后——每个都给出工程上的应对姿势；三个活跃方向——自动化蒸馏搜索、数据无关生成的改进、蒸馏理论本身——帮你判断要不要在这条路上继续投入。最后附一张全册出师检查单，为六章旅程收尾。

6.4 装配完了工具，全册的技术内容到此讲完。最后一步是诚实：把蒸馏的地图边界画出来，免得读者拿着锤子把什么都当钉子。

四个已知边界

边界一：容量鸿沟。 学生小到一定程度，教师的暗知识就是灌不进去——6.1 的阶梯实验能定位鸿沟位置，但定位不等于消除。级联、加宽、课程表配比都是绕行方案，都有各自的成本。诚实的结论：压缩比超过百倍时，蒸馏单打独斗不解决问题，必须与量化、剪枝组合（4.6），且要有"折损不可避免"的预期管理（3.3）。

边界二：超参敏感。 温度、权重、（对抗蒸馏里的）lam——蒸馏比直接训练多出一组敏感超参，且不同师生组合、不同任务之间不能直接迁移。6.2 的三步序把调参成本压到可控，但"每个新组合都要重新扫一遍"这件事无法免除。这是这门手艺对工程纪律的要价。

边界三：任务失配。 教师的任务先验与学生任务对不上时，软目标里的"干货"不足——通用分类器教细粒度任务、静态教师教时变分布，都是失配现场。6.3 的分布外复检能事后报警，但事前只能靠 6.1 的选型标准预防。分布持续漂移的场景（推荐系统、内容风控），还得定期"复训教师再重蒸"，蒸馏不是一锤子买卖。

边界四：理论滞后。 实践跑在理论前面：温度为什么是 4 不是 6、软目标到底传了多少信息、为什么同结构自蒸馏也能涨——这些工程上"能用"的问题，理论上只有部分答案（3.3 的三机制是现有的最好解释框架，但不是定论）。直接后果是：蒸馏调参仍大量依赖实验而非推导，换场景的经验迁移有运气成分。

# 边界探测小工具：量化"再往下压就亏了"的拐点
import torch

@torch.no_grad()
def compression_frontier(train_kd, eval_fn, budgets):
    """budgets: [(目标参数量)]，train_kd(params) 返回按预算蒸好的学生。"""
    rows = []
    for params in budgets:
        s = train_kd(params)
        acc = eval_fn(s)
        rows.append((params, acc))
        print(f"参数量 {params/1e6:.1f}M -> 精度 {acc:.4f}")
    # 相邻档位的一阶差分：每压一档掉多少
    for i in range(1, len(rows)):
        dp = (rows[i-1][0] - rows[i][0]) / 1e6
        da = rows[i-1][1] - rows[i][1]
        print(f"压缩 {dp:.1f}M 代价 {da:+.4f}（每兆精度 {da/dp:+.4f}）")
    return rows

# 输出示例（四档预算的边界曲线）：
# 参数量 25.6M -> 精度 0.9501
# 参数量 12.8M -> 精度 0.9462
# 参数量 6.4M -> 精度 0.9397
# 参数量 3.2M -> 精度 0.9243
# 压缩 12.8M 代价 +0.0039（每兆精度 +0.0003）
# 压缩 6.4M 代价 +0.0065（每兆精度 +0.0010）
# 压缩 3.2M 代价 +0.0154（每兆精度 +0.0048）
# 每兆代价在 6.4M 以下陡增四倍——拐点在此，再压就该上量化了。
​

图 6-3 四个边界与应对姿势

三个值得跟的方向

方向一：自动化蒸馏搜索。 把 6.2 的人工三步序换成算法搜索——温度、配比、挂点位置、甚至学生结构都进搜索空间。当前的可借鉴做法是分层搜索：先搜粗粒度（用哪几类损失），再搜细粒度（具体权重），搜索预算集中在上层。工程团队现在就能做的版本：把三步序脚本化加自动早停（6.2 的温度扫描器已是雏形），离全自动只差一层外循环。

这层外循环的骨架不长，值得现在就搭——它把"调参工程师"从循环里换成了"验收员"：

# 自动化蒸馏搜索的外循环：粗搜损失组合，细扫配比，早停省预算
import itertools, random

def auto_kd_search(train_with, eval_fn, loss_kinds=("resp", "feat", "relat"),
                   alphas=(0.7, 0.9), budget=12):
    """train_with(kind, alpha) 返回训好的学生；eval_fn 返回验证精度。"""
    seen, ranked = set(), []
    while len(seen) < budget:                    # 总实验次数硬顶
        combo = (frozenset(random.sample(loss_kinds, random.randint(1, 2))),
                 random.choice(alphas))
        if combo in seen:
            continue
        seen.add(combo)
        acc = eval_fn(train_with(combo[0], combo[1]))
        ranked.append((acc, combo))
        if acc > 0.97 * ranked[0][0] and len(seen) > 6:
            break                                # 早停：已接近当前最优，省预算
    ranked.sort(reverse=True)
    for acc, (kinds, a) in ranked[:3]:
        print(f"{sorted(kinds)} alpha={a}: {acc:.4f}")
    return ranked[0]

# 输出示例（预算 12 次内实际跑了 8 次）：
# ['feat', 'resp'] alpha=0.9: 0.9381
# ['resp'] alpha=0.9: 0.9360
# ['feat', 'resp'] alpha=0.7: 0.9344
# 顶层结论先出来：响应加特征的组合方向对了，
# 剩下的细扫（温度、权重精调）交给 6.2 的三步序收尾。
​

搜索框架的价值不在聪明，在纪律：实验预算硬顶、组合去重、接近最优就停——人工调参最容易破的三条规矩，代码天然守住。

方向二：数据无关生成的改进。 2.4 的反演与对抗生成还有很大空间：更强的图像与语义先验、针对教师知识盲区的定向采样（专挑教师拿不准的区段造教材）、小样本与伪样本的混合配比策略。隐私监管趋严的背景下，这条线的工程价值在上升——"教师可用而数据不可用"的现场只会越来越多。

方向三：蒸馏理论。 软目标的信息量怎么度量、蒸馏泛化界长什么样、同结构自蒸馏为何有效——这些问题的理论进展会直接反哺工程：有了可信的度量，6.1 的教师体检就能从"经验阈值"升级为"信息量下限"；有了泛化界，压缩比的预期管理就能算而不只是估。关注这条线的读者建议从信息论视角的综述入手，再对照 3.3 的三机制读。

三个方向的共同点：都在把这门"手艺"往"科学"推。跟不跟、跟哪个，取决于你的位置——工程团队跟方向一二（直接降本），研究兴趣跟方向三（地基仍松）。

出师检查单

全册收在一张单子上。出师的标志不是读完，而是下次开工时不用翻书：

• 立项三问：精度缺口来自容量还是数据？教师体检三项过线了吗？压缩比预期落在拐点的哪一侧？
• 选型三查：任务匹配、输出校准、可获得性——数据说话，不认名气。
• 调参三步：温度锁平台、权重粗细扫、学习率沿用；体检三问每十分钟答一次。
• 验收三防：对齐预算的基线、KL 加校准互证、分布外复检——三道防线一道不能省。
• 边界四记：鸿沟用阶梯探、超参不跨场景抄、失配靠复检盯、理论结论别当定律用。

⚠️ 常见坑：把边界当失败。容量鸿沟探到拐点、超参扫描跑了九组实验，这些不是蒸馏不行，而是这门手艺诚实的成本——画清楚边界的目的，是让你在边界内把事情做稳，在边界外知道该组合什么手段。

💡 关键直觉：师傅把暗知识传给徒弟，徒弟终将走到师傅没去过的地方——蒸馏研究的下一步，从来不是把学生做得更像教师，而是让"传艺"这件事本身更便宜、更可推导、更少依赖运气。

本节要点回顾

• 四个边界：容量鸿沟（组合手段应对）、超参敏感（流程化应对）、任务失配（选型加复检应对）、理论滞后（排查框架应对）。
• 边界探测：压缩前沿曲线的一阶差分找"每兆精度"陡增的拐点，拐点以下换量化接力。
• 三个方向：自动化搜索、数据无关生成、蒸馏理论——共同趋势是把经验手艺推向可推导的科学。
• 出师标志：立项三问、选型三查、调参三步、验收三防、边界四记，合上书还能背出来。
• 最后一课：边界不是终点，是路线图——知道做不到什么，才敢放心去做能做到的。