第五章 出师作品：蒸馏在各领域的落地
文档摘要
第五章 · 出师作品：蒸馏在各领域的落地 章节摘要：方法讲了四章，这一章验货。我们把蒸馏放到四个行当的真实现场——图像分类检测分割、预训练语言模型压缩、语音识别与合成、推荐与强化学习——每个行当挑有代表性的出师案例，交代背景、操作、结果与解读，顺带说清各行的验收指标差异。读完本章，你能对号入座找到自己行业的前例，知道该抄哪份作业、避哪些坑。 学习目标 读完本章，你应当能够： 复述视觉领域蒸馏的三个成熟打法：分类 logits 蒸馏基线、检测中的教师指导区域训练、分割中的结构化特征对齐。 说出 DistilBERT 类预训练压缩的三件套——初始化继承、蒸馏损失叠加余弦嵌入、语料预蒸馏加任务微调——并解释省掉预训练大半算力的原理。
第五章 · 出师作品：蒸馏在各领域的落地
章节摘要：方法讲了四章，这一章验货。我们把蒸馏放到四个行当的真实现场——图像分类检测分割、预训练语言模型压缩、语音识别与合成、推荐与强化学习——每个行当挑有代表性的出师案例，交代背景、操作、结果与解读，顺带说清各行的验收指标差异。读完本章，你能对号入座找到自己行业的前例，知道该抄哪份作业、避哪些坑。
学习目标
读完本章，你应当能够：
- 复述视觉领域蒸馏的三个成熟打法：分类 logits 蒸馏基线、检测中的教师指导区域训练、分割中的结构化特征对齐。
- 说出 DistilBERT 类预训练压缩的三件套——初始化继承、蒸馏损失叠加余弦嵌入、语料预蒸馏加任务微调——并解释省掉预训练大半算力的原理。
- 区分语音识别与语音合成里蒸馏的不同用法：帧级对齐约束与声学特征的模仿重点。
- 解释推荐系统蒸馏中"先集体后个人"两段式训练的动机，以及强化学习策略蒸馏的架构继承套路。
- 按自己业务的指标体系（精度、延迟、内存、召回）为蒸馏项目设定量化验收线。
核心概念速览
各领域蒸馏的差别不在原理、在"取材位置"与"验收口径"：视觉看特征图对齐，NLP 看词级 logits 与隐层，语音看帧对齐，推荐看排序行为分布，强化学习看策略动作分布。原理只有一个——学分布而不是背标签；差别只在从哪个位置取材、用什么指标验收。
金句：行行出状元，也行行有自己的考卷——蒸馏落地，七分在选对取材位置，三分在指标验收。
图 5-1 四个行当的取材位置与验收口径对照
子章节导航
- 5.1 视觉领域：分类、检测与分割：从 Hinton 手写数字基线到检测分割的结构化蒸馏，含移动端部署的完整账单。
- 5.2 NLP 领域与预训练模型压缩：DistilBERT 的三件套与任务内蒸馏的取舍，翻译与分类两个案例。
- 5.3 语音识别与合成：帧对齐蒸馏与声学特征模仿，流式场景的延迟收益。
- 5.4 推荐系统与强化学习：两段式排序蒸馏与策略蒸馏，各自最容易踩的坑。
子章节之间的逻辑关系
四节并列，各对应一个行业现场；排序上把最成熟、案例最全的视觉与 NLP 放在前面，语音与推荐这两个"蒸馏取材更特殊"的行当殿后。每节都按背景、操作、结果、解读、变式五段展开，方便直接对照抄作业。
四节的"教学成本结构"也值得先看一眼再决定从哪节读起：
| 行当 | 教师来源 | 蒸馏训练开销 | 落地周期 |
|---|---|---|---|
| 视觉 | 开源预训练模型多，选型余地大 | 中，特征对齐需调适配层 | 短，两三周可出基线 |
| 自然语言处理 | 预训练大模型现成 | 高，语料预蒸馏耗算力 | 中，预蒸馏一次、任务微调多次复用 |
| 语音 | 自训教师为主 | 中，帧级损失计算量大 | 中，流式改造另计 |
| 推荐与强化学习 | 线上集成或历史策略 | 低到中，两段式训练流程长 | 长，需等线上回流验证 |
读法建议：只做一个行业的读者精读本行一节即可，但 5.1 的基线打法（响应蒸馏起步、特征蒸馏加码）是四个行当共享的起手式，值得所有读者过一遍；跨行对照则能看出"取材位置"这门手艺的通用性——同一套师生框架，换一处取材就换了一个行业。
本章知识点清单
- 视觉三任务的蒸馏取材位置：分类 logits、检测 RoI 特征、分割输出结构。
- 预训练压缩三件套与预蒸馏、微调两阶段流程。
- 语音帧级对齐约束与合成任务里的声学特征模仿。
- 推荐两段式训练的先后依赖与强化学习策略蒸馏的初始化继承。
- 各行业验收指标的差异与蒸馏验收线的设定方法。
前置知识与后续延伸
前置：第一章与第二章的知识形态概念；各节内容与行业知识强相关，不要求读过第三、四章。
后续：第六章第 6.3 节的评估方法论会把本章各行业的验收指标统一成一套可执行流程；若你在某行业找不到先例，第六章 6.4 的框架工具箱可帮你快速搭起实验。本章五个案例里的教师选型思路（同域优先、校准检查、容量阶梯）在 6.1 有系统展开，读到案例里"为什么选这位教师"的段落卡住时，可以翻回去对照。