黑盒蒸馏（技巧蒸馏）

文档摘要

黑盒蒸馏（技巧蒸馏）黑盒蒸馏所用到的仅仅是教师模型的回答（有时也包括输出的概率分布，即软目标，但是不会用到logits）。黑盒蒸馏意味着教师模型的输出是我们唯一能获取到的训练资源，因此，黑盒蒸馏整体的思路可以分成两步：从教师模型收集问答数据使用这些数据对学生模型进行微调这份教程会详细介绍三种涌现能力的主流蒸馏方式以及改进方向。值得一提的是，黑盒蒸馏和监督微调很相似，所以了解监督微调的概念将有利于本节的学习。不过不了解也没关系，只要知道一般模型训练的概念（损失函数、梯度下降等）也足够。 In-context learning 蒸馏大模型的一大特有的能力是上下文学习(In-context learning, ICL)，即在推理阶段进行少样本学习。