单卡微调 7B，怎么做到的？

01一个反共识：不全参，反而够用

全参微调要更新所有参数，7B 模型光优化器状态就要 56GB 显存（Adam 两份动量），单卡 24G 根本装不下。

LoRA 的洞见：微调时权重的变化 ΔW 是低秩的——可以用两个小矩阵 A、B 近似，ΔW ≈ B×A，其中 A、B 远小于 W。只训 A、B，参数量从 7B 降到几十 M，显存从 56GB 降到 16GB。效果接近全参，成本降到 1/10。

QLoRA 再进一步：把冻结的 W 量化到 4bit（显存再砍 4 倍），只训 A、B 用 fp16。13B 模型单卡 24G 就能微调。这是为什么 2023 年后"人人能微调大模型"——技术把门槛打下来了。

02微调成本对比：选模型看三种方法

选模型大小，看全参 / LoRA / QLoRA 三种方法的显存、可训参数、时间、效果差距。

03LoRA 的三个关键选择

• 秩 r：A、B 的中间维度。r 越大表达越强但参数越多，常用 r=8~64。多数任务 r=16 够用，别盲目调大。
• 挂哪些层：通常挂 attention 的 q/v 投影。挂全层（all-linear）效果更好但更贵，按预算选。
• 学习率：LoRA 的学习率比全参大（1e-4 ~ 1e-3），因为只训小矩阵，小学习率训不动。

一个常见坑：LoRA 效果不如全参，多半是数据太少或 r 太小。先确认数据够（几千条起步），再调 r，别一上来怀疑方法。多数"LoRA 没用"的案例，问题在数据不在方法。

04带走这套清单