4.2 模型架构调整：替换/添加输出层、适配器 (Adapter)

文档摘要

4.2 模型架构调整：替换/添加输出层、适配器 (Adapter) 4.2 模型架构调整：替换/添加输出层、适配器 (Adapter) 在迁移学习和Fine-tuning的实践中，仅仅调整预训练模型的参数往往不足以达到最佳效果。特别是在目标任务与预训练任务差异较大时，或者当我们需要在不大幅增加模型复杂度的情况下提升性能时，对模型架构进行适当的调整变得尤为重要。本章将深入探讨两种主要的模型架构调整策略：替换/添加输出层，以及引入适配器 (Adapter) 结构。 4.2.1 替换/添加输出层预训练模型通常在大规模通用数据集上进行训练，其输出层是为预训练任务设计的。例如，一个在ImageNet上预训练的图像分类模型，其输出层通常包含1000个神经元，对应ImageNet的1000个类别。