大模型微调之Adapters（一）概述

文档摘要

大模型微调之Adapters（一）综述大家应该都知道LoRA了，这是非常流行的PEFT方法，属于Adapters的一种。Adapters是一种非常好的微调大模型的方法，可以在不改变原模型参数的情况下，增加新的任务。这个系列会介绍Adapters的几种变种，包括LoRA、QLoRA、AdaLoRA等。之前我们介绍过PEFT的Soft Prompts系列，这次我们介绍Adapter系列，重点放在LoRA和几个变种上。 Adpater 基于适配器Adapter的方法在冻结的预训练模型的注意层和全连接层之后添加额外的可训练参数，以减少内存使用量并加快训练速度。该方法因Adapter而异，它可能只是一个额外的添加层，也可能将权重更新 ∆W 表示为权重矩阵的低秩分解。