大模型微调基础：LoRA、QLoRA与Prompt Tuning

文档摘要

大模型微调基础大模型微调适配特定任务。 LoRA 低秩适应冻结原模型，训练低秩矩阵。参数量减少99%，内存占用降低。 QLoRA 量化LoRA 结合4bit量化和LoRA。显存需求减半，性能接近全量微调。 Prompt Tuning Prefix Tuning 添加可训练前缀向量。 P-Tuning 可训练prompt嵌入。实践建议小数据集用Prompt Tuning 大数据集用LoRA 超大模型用QLoRA 大模型微调降低训练成本。

大模型微调基础

大模型微调适配特定任务。

LoRA

低秩适应

冻结原模型，训练低秩矩阵。

参数量减少99%，内存占用降低。

QLoRA

量化LoRA

结合4bit量化和LoRA。

显存需求减半，性能接近全量微调。

Prompt Tuning

Prefix Tuning

添加可训练前缀向量。

P-Tuning

可训练prompt嵌入。

实践建议

小数据集用Prompt Tuning
大数据集用LoRA
超大模型用QLoRA

大模型微调降低训练成本。