第6章 知识蒸馏
文档摘要
第6章 知识蒸馏   本章我们将在 6.1 节介绍知识蒸馏概、相关术语、具体过程以及其中比较关键的温度和损失函数，在6.2节介绍知识蒸馏的匹配内容，在6.3节介绍自蒸馏和在线蒸馏，在6.4节介绍知识蒸馏的应用，在6.5节介绍网络增强，在6.6节通过具体实践加深对知识蒸馏的理解，在6.7节介绍损失函数部分推导。 第6章 知识蒸馏 6.1 知识蒸馏介绍 6.1.1 相关术语 教师模型(Teacher Model) 学生模型(Student Model) 硬标签(Hard Target) 软标签(Soft Target) 交叉熵损失（Cross-Entropy Loss） 6.1.2 知识蒸馏具体过程 6.1.3 温度 6.1.3.1 温度的作用 6.1.3.
评论区
(0)
U