白盒蒸馏

文档摘要

白盒蒸馏什么是白盒蒸馏白盒蒸馏是指在蒸馏过程中使用到教师模型的参数或 logits 的蒸馏技术[2]. 接下来我们会介绍经典的白盒蒸馏方法和代码实现。 MiniLLM 大模型能力的强大也伴随着参数量的膨胀，为了以合理的成本部署大模型，如何将大模型的知识蒸馏到小模型是一个问题。从前，面对有限的状态空间（比如有限的分类类别），教师模型和学生模型的参数量都足以学习每一种类别的模式；而在大模型自回归生成的场景下，学生模型参数变少后，天然地失去了和大模型同等的表达能力，从而传统的蒸馏可能效果不佳。 MiniLLM是一种针对生成式语言模型的全新的KD方法，它是一种白盒蒸馏方法，这种方法使用逆向KL散度，理论上使得学生模型模仿教师模型概率较大的生成结果，忽略教师模型概率不大的生成结果。