4.2 改结构：替换输出层与外挂适配器
文档摘要
4.2 改结构：替换输出层与外挂适配器 本节摘要：微调开工的第一个动作是改结构。两种改法：侵入式的替换输出层——直接换掉预训练模型的头，参数从零初始化、需要较大学习率；外挂式的适配器——在冻结的层间插入小型瓶颈模块，原宅一毫米不动，只训外挂。本节实现两种改法、算清各自的参数账，并说明适配器思想如何演化为第 6 章的 LoRA。 为什么必须改结构 预训练模型的输出层对应源任务的标签空间：视觉模型是一千类的投影，语言模型是词表的投影。 会员。《4.2 改结构：替换输出层与外挂适配器》收录于灏天文库文集《迁移学习与Fine-tuning实战》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。
评论区
(0)
U