2.1蒸馏

文档摘要

2.1 蒸馏本章将介绍大模型的主流蒸馏方法和代码。 Roadmap 蒸馏基础 1.1 为什么要做LLM蒸馏 1.2 和小模型蒸馏的不同 1.3 LLM蒸馏的分类 a. 白盒 b. 黑盒基于分类模型的蒸馏、小模型蒸馏，这部分请参考datawhale另一个关于模型压缩的项目https://github.com/datawhalechina/awesome-compression/blob/main/docs/ch06/ch06.md）标准知识蒸馏（白盒蒸馏） 2.1 概述何时使用白盒蒸馏 2.2 MiniLLM 2.3 BabyLlama 基于涌现能力的蒸馏（黑盒蒸馏） 3.1 概述什么是涌现能力与标准蒸馏的不同何时使用黑盒蒸馏 3.