- 文集信息
- 目录大纲
- 最新文档
- 知识宇宙
文集详情
文集导读
教程导读：跟师傅学蒸馏这门压缩手艺
文集简介：本教程把知识蒸馏当成一门"师徒传艺"来教——大模型是老师傅，小模型是徒弟，蒸馏就是老师傅把暗知识一点一点教给徒弟的过程。全册六章，沿着"拜师之前想清楚、看清师傅知道什么、掌握火候与讲法、进阶教法、看徒弟出师作品、琢磨授业心法"这条主线走完整个传艺链，配全套 PyTorch 代码与真实工程案例。
深夜十一点的推理机房，一张 GPU 卡排着三百多个请求，运维群里不断有人催：视频理解的订单又超时了。隔壁组那个三千兆参数的模型效果确实好，可它一份权重就装不满一台边缘盒子，一次前向传播烧的电比一整层楼的网络设备还多。把它撤下来，换一个从头训练的小模型，准确率又掉得没法看。这个两头为难的处境，几乎所有把深度学习模型送上线过的工程师都经历过——模型世界的"艺高"与"人胆大"，很少能兼得。
知识蒸馏就是冲着这个僵局来的。它的思路说穿了很朴素：让那个大模型当老师傅，把小模型当徒弟。老师傅不把毕生功力写在纸上给徒弟背——那等于让徒弟只看硬标签；而是让徒弟站在自己旁边，看自己怎么"拿捏分寸"：这张图像猫的概率八成、像狗的概率两成、像汽车的概率几乎为零。这种带着犹豫和倾向的判断，业内叫软目标，它是老师傅脑子里最难言传、却最有营养的暗知识。徒弟照着这套分寸感练，往往练得比直接对着标准答案硬学的同龄小模型更稳、更准。
这门手艺有一个非常适合拿来教学的结构：师傅、徒弟、教法三样东西凑齐，蒸馏才能开工。老师傅的知识藏在哪，决定了教什么——答案是响应层的 Logits，思考过程是中间层的特征，见识是样本与层之间的关系；怎么教，决定了学得快不快——先学后教的离线蒸馏、边学边教的在线蒸馏、自己教自己的自蒸馏，各有各的适用现场；火候怎么调，决定了学得像不像——温度系数是这门手艺的"看火"功夫，软硬损失的配比是"下料"的功夫。学徒出没出师，最后还要拉到生产现场验货：视觉、NLP、语音、推荐，每个行当都有各自的验收标准。
把这条传艺链铺开，就是本册的六章。第一章"拜师之前"，讲清楚为什么需要蒸馏、它和剪枝、量化这些压缩手艺的分工，以及师傅、徒弟、传承课三要素分别指什么；第二章"老师傅知道什么"，把蒸馏知识分成响应、特征、关系三种形态逐一拆解，顺带回答一个刁钻问题：师傅不在场（拿不到训练数据）还能不能教；第三章"火候与讲法"，钻进温度系数与损失函数的内部，用信息论和泛化理论的视角讲明白软目标到底多教了什么、徒弟为什么有时能青出于蓝；第四章"进阶传艺"，覆盖离线与在线、多师会诊、自蒸馏、对抗蒸馏、跨模态与量化感知这些进阶教法；第五章"出师作品"，把蒸馏放到视觉、NLP、语音、推荐四个行当里验收，看真实案例里省了多少算力、掉了多少点；第六章"授业心法"，回到工程师视角，讲选型、调参、数据准备、效果评估与框架落地，也讲这门手艺现在的边界在哪。
全册的知识依赖关系如下图：先立住概念（第一、二章），再钻机理（第三章），然后扩教法（第四章），最后验收与实战（第五、六章）。时间紧的读者可以按图取径：只关心落地的，读完第一、二章可以直接跳第五章与第六章第四节；要做研究改进的，第三章不可跳过。
动笔之前，交代几句本册的讲法。其一，所有代码默认 PyTorch 写法，每段都带注释与预期输出，读者拿去稍作修改就能跑通自己的第一轮蒸馏实验；其二，每个知识点尽量配一个真实工程现场的案例，按背景、操作、结果、解读、变式的顺序展开，不复述论文摘要式的空话；其三，类比只在能降低理解成本的地方用，师徒传艺这条主线本身就是全册最大的类比，其余地方能讲机理就讲机理。读者若已有深度学习训练经验，本册可以直接当操作手册用；若是刚入门，建议备一本概率与机器学习的底子书，遇到 softmax、交叉熵这些词卡住时翻回概念部分即可。
模型越来越大、部署环境越来越小，这对矛盾不会消失，蒸馏的价值也就不会过时。把老师傅的暗知识教出去，让徒弟用十分之一的身板干八九成的活——这既是本册要教的技术，也是这套技术背后朴素的传承智慧。
目录大纲
最新文档
知识宇宙
正在加载知识图谱...