第四章 进阶传艺：教法的组织与变体

第四章 · 进阶传艺：教法的组织与变体

章节摘要：前两章解决"教什么"和"火候几何"，本章解决"怎么组织这场教学"。同样一套知识，可以师傅备好课再开讲（离线），可以师徒同堂边练边教（在线），可以徒弟分身教自己（自蒸馏），可以请多位师傅会诊（多教师），可以让师徒互为对手过招（对抗），可以让另一个行当的师傅隔行传艺（跨模态），还可以把火候再压一档、边教边练"少说话"（量化感知）。读完本章，面对各种资源与约束组合，你都能找到对应的组织形式。

学习目标

读完本章，你应当能够：

1. 比较离线蒸馏与在线蒸馏的适用前提：教师是否现成、算力预算多少、能否接受训练期间多模型并行。
2. 说明深度互学习（deep mutual learning）里两个学生如何互为师生，以及它与离线蒸馏的损失结构差别。
3. 描述多教师蒸馏的两种融合策略——输出加权融合与逐段分管，并按场景选择。
4. 区分三代自蒸馏形态：深监督式、代际式（born-again）与快照式，说出各自省掉了什么成本。
5. 解释对抗蒸馏里判别器的作用：学生不再逐点模仿，而是要让"这输出像不像老师傅"的裁判分不清真假。
6. 说明跨模态蒸馏的典型链路（文本教师教视觉学生、语音教师教唇动学生）与持续学习中蒸馏防遗忘的角色。
7. 评估量化感知蒸馏为何常与 KD 搭档：量化误差由蒸馏损失兜底补偿。

核心概念速览

教法的组织形式，本质是回答三个问题：教师从哪来（现成、同堂、自己分身）、教师有几个（一位、多师、对抗式裁判）、教学在什么约束下进行（数据受限就跨模态借师、部署受限就叠加量化）。离线在线定课堂组织，多师自教定师资来源，对抗跨模定教学关系，量化感知定精度约束。

金句：没有现成师傅可以同堂练，请不起名师可以自己分身教自己——蒸馏的门派，比想象的多。

图 4-1 七种进阶教法的组织形态一览

子章节导航

• 4.1 先学后教与边学边教：离线与在线蒸馏：课堂组织的基本二分，附深度互学习的最小实现。
• 4.2 多位师傅会诊一个徒弟：多教师蒸馏：输出加权与逐段分管两种融合策略，冲突仲裁的实操。
• 4.3 自己教自己：自蒸馏：三代形态与 born-again 网络的完整案例。
• 4.4 师徒过招：对抗蒸馏：判别器盯什么的对抗损失结构，训练稳定性技巧。
• 4.5 隔行传艺：跨模态、跨任务与持续学习蒸馏：借别行的师傅、防老手艺被新活冲掉。
• 4.6 火候再压一档：量化感知蒸馏：蒸馏与量化的组合拳，部署前最后一道工序。

子章节之间的逻辑关系

4.1 先定大框架（教学时机），4.2、4.3、4.4 是三种师资来源变体（多师、自教、对抗），4.5 处理资源与约束的特殊现场（跨模态、持续学习），4.6 是部署导向的组合技。六节彼此独立成篇，但共享第二章的知识形态与第三章的损失函数，任选起点都可读。

时机：4.1 离线/在线
师资：4.2 多师   4.3 自教   4.4 对抗
约束：4.5 跨模态/持续学习   4.6 量化感知
​

本章知识点清单

• 离线与在线蒸馏的损失结构差异，深度互学习的互为师生机制。
• 多教师输出融合的加权策略与教师意见冲突的仲裁方法。
• 自蒸馏的深监督式、代际式、快照式三种形态与成本对比。
• 对抗蒸馏的判别器设计与损失合成，稳定性技巧。
• 跨模态蒸馏的桥接层与对齐目标，持续学习中蒸馏抑制灾难性遗忘的原理。
• 量化感知蒸馏中低精度前向、全精度批改的双轨机制。

前置知识与后续延伸

前置：第一章三要素与第二章至少一种知识形态（响应蒸馏即可）；第三章的损失配比概念会让 4.2、4.6 读得更顺。

后续：第五章用具体行业案例验收这些教法的实战成色；第六章第 6.1、6.2 节的选型与调参，覆盖了本章各教法的参数差异。