第2章 · 大模型微调与推理优化
文档摘要
第 2 章 · 大模型微调与推理优化 章节摘要：通用大模型不会天然按你想要的风格、格式或领域知识来回答。微调就是把一个通用模型"调教"成你专属模型的过程，而 LoRA 及其量化变体 QLoRA 是目前性价比最高的做法——不用动全部参数，只训练一小部分附加权重，单卡就能跑。这一章讲清 LoRA 为什么能用极低参数量达到接近全量微调的效果，QLoRA 怎么把显存门槛再砍一刀，PEFT 家族的横向对比，以及微调数据工程的常见坑。读完你能判断自家场景该不该微调、用哪种微调。
第 2 章 · 大模型微调与推理优化
章节摘要：通用大模型不会天然按你想要的风格、格式或领域知识来回答。微调就是把一个通用模型"调教"成你专属模型的过程，而 LoRA 及其量化变体 QLoRA 是目前性价比最高的做法——不用动全部参数，只训练一小部分附加权重，单卡就能跑。这一章讲清 LoRA 为什么能用极低参数量达到接近全量微调的效果，QLoRA 怎么把显存门槛再砍一刀，PEFT 家族的横向对比，以及微调数据工程的常见坑。读完你能判断自家场景该不该微调、用哪种微调。
读前必看
阅读完本章，你应当能够：
- 说清全量微调与 LoRA 的参数量差异，并解释 LoRA 省显存的机理
- 计算给定模型规模下 LoRA 的可训练参数量级
- 解释 QLoRA 的 4 比特量化为什么几乎不损失精度
- 判断"该用 LoRA 还是 QLoRA 还是直接全量微调"
- 在 PEFT 家族（LoRA、Adapter、Prefix/Prompt Tuning）之间做选型
- 描述多适配器部署的思路，说明它如何降低多任务的推理成本
核心概念速览
微调的核心矛盾是：全量更新所有参数效果最好，但代价高昂——一个七十亿参数的模型，全量微调要存 optimizer 状态、梯度、权重三份浮点矩阵，显存动辄几十上百 GB，普通团队根本玩不起。LoRA（Low-Rank Adaptation）绕开了这个矛盾：它把原模型权重冻结，只在旁边挂两个小矩阵，用它们的乘积去近似"本来应该发生在全量权重上的更新"。数学上的依据是，预训练模型的权重更新往往落在低维子空间里，所以一个低秩近似就够用。结果是可训练参数从几百亿掉到几千万，省了一两个数量级的显存。
QLoRA 在此基础上再砍一刀：把冻结的基座权重量化到 4 比特存储，只在计算时临时反量化，这样一份几十 GB 的基座在显存里只占几个 GB，加上 LoRA 那点可训练参数，消费级显卡（比如一张 24G 的卡）就能微调三十亿甚至七十亿参数的模型。代价是训练速度因为反复量化有点损失，但对大多数应用够用。
微调不是"让模型变得更聪明"，而是"让它在你的窄任务上更听话、更合身"——通用能力是基座给的，专属行为是适配器给的。所以选基座比调参数更重要：基座能力的天花板，适配器怎么调都越不过去。
值得强调的是"多适配器"的工程价值：同一份基座挂不同任务的 LoRA，能在显存里复用那份最占地方的基座权重，只切换几 MB 的适配器就能切换任务。这对要同时服务多个垂直场景的团队是省钱的关建——不必为每个任务各部署一份完整模型。
子章节导航
2.1 LoRA 低秩微调原理与实战
讲清 LoRA 用两个低秩矩阵近似权重更新的数学直觉，以及秩（rank）、应用到哪些模块（q/k/v 投影还是全连接）、缩放因子这些关键参数怎么选。秩太小表达力不够，太大又接近全量微调失去省显存的意义，实践中 8 到 64 是常见区间。
2.2 QLoRA 量化微调与多适配器
讲清 4 比特量化加 LoRA 的组合如何让消费级显卡也能微调大模型，以及多适配器如何复用同一份基座。重点是 nf4 量化为什么比普通 int4 更适合正态分布的权重，以及分页优化器怎么避免显存峰值爆掉。
2.3 PEFT 家族对比与选型
把 LoRA、Prefix/Prompt Tuning、Adapter 放一起横向对比，看它们各自适合什么场景。大体规律：Prefix Tuning 参数最少但效果上限偏低，Adapter 在序列长度上增加推理开销，LoRA 在效果和效率间最均衡，是目前的主流选择。
2.4 微调数据工程与常见坑排错
聚焦数据怎么准备、格式怎么定，以及过拟合、灾难性遗忘等常见故障的排查。微调圈有句行话——"数据决定上限，方法只是逼近上限"，几千条高质量样本往往胜过几万条噪声数据。
子章节之间的逻辑关系
2.1 是基础——先理解 LoRA 的"低秩近似"思想，才能理解 2.2 里 QLoRA 为什么能在量化基座上稳定训练。2.3 把视野放宽到整个 PEFT 家族做选型对比。2.4 回到最决定效果的数据工程和故障排查。
┌──────────────────┐ 方法基础 ┌──────────────────┐ │ 2.1 LoRA 原理实战 │ ──────────▶│ 2.2 QLoRA 多适配器│ │ 低秩近似 + 参数选择│ │ 量化降显存 + 复用 │ └──────────────────┘ └──────────────────┘ │ │ ▼ 放宽视野对比 ▼ 回到数据与排错 ┌──────────────────┐ ┌──────────────────┐ │ 2.3 PEFT 家族选型 │ │ 2.4 数据工程排错 │ │ 四种方法横向对比 │ │ 五大故障排查树 │ └──────────────────┘ └──────────────────┘
本章关键取舍速查
| 决策点 | 倾向方案 | 理由 |
|---|---|---|
| 显存装不下基座模型 | QLoRA | 4bit 量化加载，消费级显卡可跑 |
| 单一任务、追求便宜 | LoRA 单适配器 | 训练快、切换简单 |
| 多任务共用一个基座 | 多适配器架构 | 一份基座多份适配器，存储省、切换秒级 |
| 要注入新知识而非调行为 | 优先考虑 RAG | LoRA 擅长调行为，不擅长灌事实 |
| 效果卡住不动 | 先查数据再调超参 | 八成问题在数据质量与格式 |
⚠️ 常见坑：把微调当万能药。格式不听话、风格不对、领域行话不懂，才轮到微调；知识缺失先上 RAG，别用微调硬灌。
💡 关键直觉：微调改的是模型的"习惯"，不是"记忆"——习惯低秩可调，记忆该交给检索。
前置知识与后续延伸
- 前置：了解 Transformer 的基本结构、知道什么是损失函数和梯度下降。第 1 章的 RAG 是"不改模型"的方案，本章是"改模型"的方案，两者可对比理解。
- 为后续铺垫：微调产出的模型，最终要服务化部署。推理优化（量化、KV 缓存、投机解码）是下一阶段的话题，本章的 QLoRA 已经触及量化，为后续深入推理优化埋下伏笔。
最后提醒一个工程上的现实：微调不是终点，而是一个需要持续迭代的环节。业务数据在变，模型会随时间漂移，定期用新数据增量微调、做回归评测，才能保住效果。把微调流程沉淀成可重复的 pipeline（数据校验、训练、评测、上线、监控），比单次调出好参数更重要——一次性的精调成果，三个月后往往就不合身了。