大模型微调基础：LoRA、QLoRA与Prompt Tuning
大模型微调基础
大模型微调适配特定任务。
LoRA
低秩适应
冻结原模型，训练低秩矩阵。
参数量减少99%，内存占用降低。
QLoRA
量化LoRA
结合4bit量化和LoRA。
显存需求减半，性能接近全量微调。
Prompt Tuning
Prefix Tuning
添加可训练前缀向量。
P-Tuning
可训练prompt嵌入。
实践建议
- 小数据集用Prompt Tuning
- 大数据集用LoRA
- 超大模型用QLoRA
大模型微调降低训练成本。
评论区
(0)
U