第六章 授业心法：调参排坑与出师验收

第六章 · 授业心法：调参排坑与出师验收

章节摘要：前五章把"教什么、怎么教、教得怎样"讲完，最后一章回到操盘手视角：师傅怎么选、徒弟怎么设计，温度权重学习率这三组旋钮按什么顺序调，教材（数据）怎么准备与增强，验收用什么指标才不骗自己，主流框架里怎么把整套东西落地，以及这门手艺如今的边界与下一步。读完本章，你手里有一份从立项到上线的完整操作手册。

学习目标

读完本章，你应当能够：

1. 按任务匹配、容量差距、输出校准三条标准为项目挑选教师模型，并能判断"教师不是越大越好"。
2. 设计学生模型时说出三个约束来源：部署端算力表、与教师的结构亲缘性、任务的信息瓶颈位置。
3. 按标准顺序调参：先定温度带、再配软硬权重、最后收拾学习率与调度，并知道每步的观察指标。
4. 用数据增强与难例挖掘扩充"课堂教材"，判断何时该用无标签数据做半监督蒸馏。
5. 建立一套防自欺的评估流程：基线对照、多指标互证、分布外抽样复检。
6. 在 PyTorch 中搭出完整的蒸馏训练循环，并知道哪些成熟工具库可以省掉重复造轮子。
7. 陈述蒸馏当前的四个边界：容量鸿沟、超参敏感、任务失配、理论滞后，以及对应的应对思路。

核心概念速览

授业心法的核心是把散在前五章的经验收拢成流程：选师看匹配不看名气，设计徒弟先看部署算力表，调参按温度、权重、学习率的固定顺序，评估用多指标互证防自欺。 工程上 eighty percent 的蒸馏失败不是原理错了，而是选型、调参、评估某一环走偏。

金句：蒸馏失败的复盘里，十次有八次败在流程，而不是败在公式。

图 6-1 从立项到上线的授业流程与回环

子章节导航

• 6.1 选师傅与设计徒弟：教师挑选三标准与学生设计三约束，容量鸿沟的判断与补救。
• 6.2 温度、权重与学习率：调参手记：一张按场景给默认值的参数表，加调参顺序与观察指标。
• 6.3 教材与考卷：数据准备与效果评估：增强策略、难例挖掘、半监督蒸馏的数据面，以及防自欺的评估流程。
• 6.4 框架实战与工具箱：PyTorch 手写蒸馏循环的完整骨架，成熟工具库的取舍。
• 6.5 蒸馏的边界与下一步：四个已知边界、三个研究方向，帮你判断要不要在这门手艺上继续投入。

子章节之间的逻辑关系

本章按真实项目的时间轴排布：立项选型（6.1）、动手调参（6.2）、备料验收（6.3）、工具落地（6.4），最后退一步看边界与未来（6.5）。六章至此闭环：第一章的"要不要蒸馏"、第二三四章的"怎么教"、第五章的"教得怎样"，在本章汇成一张可执行的流程图。

值得注意的是 6.1 到 6.3 的顺序恰好对应"失败返工成本"从高到低：选错师傅与学生的返工成本最高（全部重来），调参失当次之（局部重扫），数据与评估的疏漏最低（补测即可）。时间有限的读者按这个顺序读，防的正是最贵的那种错。

本章知识点清单

• 教师挑选三标准与学生设计三约束的检查清单。
• 调参顺序：温度带 → 软硬权重 → 学习率调度，及各步观察指标。
• 数据增强、难例挖掘、半监督蒸馏对教材质量的改造方式。
• 评估三件套：基线对照、多指标互证、分布外复检。
• PyTorch 蒸馏训练循环的关键组件与工具库选型。
• 蒸馏的四个边界与三个研究方向的现状。

前置知识与后续延伸

前置：第一、二章的概念即可开读；6.4 需要基本的 PyTorch 训练经验；6.2 建议先读第三章的机理部分再回来对照参数表。

后续：本册到章末完结。若要继续深入，可沿着 6.5 给出的方向——自动化蒸馏策略搜索、数据无关生成的改进、蒸馏理论与泛化界的研究——回到文献里去；工程侧则建议直接用 6.4 的工具箱在业务数据上跑通第一次完整蒸馏。