文档摘要

7.2 知识蒸馏 本节摘要：当一个强大的大模型难以部署,可以把它的"判断方式"蒸馏到一个小模型里。本节讲解知识蒸馏用"软标签"传递知识的原理、温度参数的作用,以及它与迁移学习的区别和适用边界。 让老师面对面,把"过程"也教给你 阅读完本节，你应当能够： 用"老师给学生交底细"解释软标签为何比硬标签承载更多信息。 解释蒸馏里的温度参数如何让概率分布更平滑可学。 说清蒸馏与迁移学习的差别,判断哪种缩身方案适合你的场景。 会员。《7.2 知识蒸馏》收录于灏天文库文集《模型训练与调参指南：提高模型性能的秘诀》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---

作者与出处

原作者： 灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/492-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E4%B8%8E%E8%B0%83%E5%8F%82%E6%8C%87%E5%8D%97%E6%8F%90%E9%AB%98%E6%A8%A1%E5%9E%8B%E6%80%A7%E8%83%BD%E7%9A%84%E7%A7%98%E8%AF%80

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流