2.1蒸馏
2.1 蒸馏
本章将介绍大模型的主流蒸馏方法和代码。
Roadmap
1. 蒸馏基础
- 1.1 为什么要做LLM蒸馏
- 1.2 和小模型蒸馏的不同
- 1.3 LLM蒸馏的分类
- a. 白盒
- b. 黑盒
基于分类模型的蒸馏、小模型蒸馏，这部分请参考datawhale另一个关于模型压缩的项目https://github.com/datawhalechina/awesome-compression/blob/main/docs/ch06/ch06.md）
2. 标准知识蒸馏（白盒蒸馏）
- 2.1 概述
- 何时使用白盒蒸馏
- 2.2 MiniLLM
- 2.3 BabyLlama
3. 基于涌现能力的蒸馏（黑盒蒸馏）
-
3.1 概述
- 什么是涌现能力
- 与标准蒸馏的不同
- 何时使用黑盒蒸馏
-
3.2 基于In-context learning 蒸馏算法与实现
-
3.3 基于CoT蒸馏算法与实现-找一种作为代码例子简单实现的
-
3.4 指令跟随蒸馏算法与实现
4. 总结
评论区
(0)
U