5.1.1 Adapter Tuning 及其变体

文档摘要

5.1.1 Adapter Tuning 及其变体模型微调的效率革命：深入探索 Adapter Tuning 及其变体在深度学习的浪潮中，预训练模型，特别是大型语言模型（LLMs）和视觉模型，已经成为各个领域的基石。这些模型凭借海量数据和强大的计算资源进行训练，展现出惊人的通用能力。然而，将这些通用模型应用于特定的下游任务，仍然需要一个关键步骤：微调（Fine-tuning）。传统的微调方法通常需要调整预训练模型的所有参数，这在参数规模日益膨胀的今天，变得异常昂贵且低效。全参数微调不仅需要巨大的计算资源和存储空间，还可能导致灾难性遗忘（Catastrophic Forgetting），即模型在适应新任务时，会遗忘在预训练阶段学习到的通用知识。