2.4 微调数据工程与常见坑排错

2.4 微调数据工程与常见坑排错

本节摘要：微调效果不好，十有八九不在模型或方法，而在数据。本节聚焦微调的数据工程——指令数据的格式怎么定、几条到几万条该各怎么处理、怎么清洗和增强，再集中讲五个最常见的微调故障（过拟合、灾难性遗忘、格式漂移、loss 不降、显存溢出）的排查思路。读完你能避开微调里最费时间的那些坑。

本节导航

阅读完本节，你应当能够：

1. 写出规范的指令微调数据格式，并解释每个字段的用途
2. 根据数据量级（百条、千条、万条）选择不同的数据策略
3. 识别并修复微调中常见的过拟合、灾难性遗忘、格式漂移等问题
4. 掌握一套微调 loss 异常和显存溢出的排查流程

一、问题与直觉

很多团队第一次做微调的经历是这样的：听说 LoRA 神奇，找了几百条数据训了一版，效果时好时坏；加大数据量到几万条，效果反而更差；调学习率、调秩、换模型，折腾几周还是不满意。最后发现，问题既不在模型也不在 LoRA，而在那批数据——格式不统一、噪声多、分布和真实线上查询对不上。

微调圈有句行话：数据决定上限，方法只是逼近上限。再好的 LoRA，喂进去的数据是垃圾，出来的也是垃圾。而且微调比 RAG 更"认数据"——RAG 检索不好还能靠重排救，微调把错误模式直接烙进权重，错的训练会让模型系统性地犯同类错误。

这一节我们把数据工程和故障排查合在一起讲，因为这两件事高度相关：很多"故障"本质是数据问题。先把数据弄对，一半的故障会自动消失。

二、核心原理

2.1 指令数据的格式

指令微调（instruction tuning）的数据通常是"指令—输入—输出"三元组。一个规范的样例长这样：

{
  "instruction": "把下面这段话总结成一句话",
  "input": "（待总结的原文段落）",
  "output": "（期望的一句话摘要）"
}
​

三个字段的含义：instruction 是任务指令（让模型干什么），input 是可选的输入内容（有的任务有，如摘要的原文；有的没有，如开放问答），output 是期望输出。模型训练时学的是"给定 instruction 加 input，要产出什么样的 output"。

格式有几个讲究。第一，instruction 要覆盖你线上真实出现的问法。如果你的线上用户问"帮我缩写下"，训练数据里 instruction 全是"请将以下内容总结为一句"，模型对真实问法的泛化就差。第二，output 要写清你期望的格式——是要一句话还是一段、要不要带前缀（"摘要：")，这些细节都得在数据里统一。第三，同义指令要多写几种，让模型学到的是"任务本身"而不是"某个固定字符串"。

2.2 数据量级与策略

数据量不同，策略差别很大。

一个反直觉的点：数据不是越多越好，质量比数量重要。有研究让模型在 1000 条精标数据上微调，效果超过 10 万条噪声数据。所以数据少时别慌，把现有的标精；数据多时别懒，花力气去噪。

2.3 数据清洗的关键动作

微调数据的清洗比想象中重要，几个必做的动作：

第一是去重。重复样本会让模型对某些模式过度记忆，泛化变差。同样的指令-输出对出现十次，等于把这个模式训练权重放大了十倍。

第二是格式统一。output 里有的带句号有的不带、有的用中文逗号有的用英文逗号——这种不一致模型都会学进去，上线后输出风格就飘忽。统一标点是基本功。

第三是剔除矛盾。同样的 input 对应两个截然不同的 output，模型会无所适从。这种矛盾样本要么改要么删。

第四是分布对齐。训练数据的指令分布要尽量贴近线上真实查询的分布。如果你线上 80% 是问答、20% 是摘要，训练数据反过来 80% 摘要 20% 问答，模型对线上主力的问答能力反而弱。整个数据准备到训练的流程串起来是这样：

三、工程实践要点

3.1 五个最常见的微调故障

图 微调故障排查决策树

下面这张图把五个最常见故障的症状、根因和修法画成一张排查图，出问题时照着走能省很多盲目调参的时间。

下面逐个展开。

故障一：训练 loss 不降。最常见根因是学习率不对——过高会震荡（loss 上下跳不收敛），过低则几乎不动。LoRA 的典型学习率在 1e-4 到 3e-4，比全量微调（1e-5 量级）高一个数量级，因为 LoRA 参数少、需要更大的步长。第二个根因是 loss 计算方式错——如果对整个序列（含 instruction 和 input 部分）都算 loss，模型把精力浪费在学习复述指令上，应该只对 output 部分计算 loss。第三个根因是数据被模板标记污染（比如混进了特殊 token）。

故障二：训练 loss 降得很低，验证集却很差（过拟合）。典型表现是训练集准确率 99%，上线一用稀烂。修法从轻到重：先减少训练轮次（很多人训了十几个 epoch，其实两三个就够）；再降低 LoRA 秩 r（r 太大在少数据上必过拟合）；还不够就降低学习率、加 dropout。核心思想是增强正则、限制模型记忆能力。

⚠️ 常见坑：很多人看训练 loss 一路下降就觉得"训得很好"，其实这是过拟合的典型前兆。判断模型好坏永远看验证集，不是训练 loss。建议每轮都留出 10% 数据做验证，监控验证 loss——它开始上升的那一刻就该停。

故障三：原有能力丢失（灾难性遗忘）。微调后模型只会做新任务，原来的通用问答、闲聊全废了。根因是新任务数据"覆盖"了原有权重。修法：在训练数据里混入一部分通用任务数据（比如开源的通用指令集），让模型在学新任务时不忘旧能力；用 LoRA 而非全量微调（LoRA 天然比全量抗遗忘，因为它不动基座）；降低学习率和轮次。

故障四：输出格式飘忽（格式漂移）。模型有时输出带"答："前缀，有时不带；有时一句话有时一整段。根因几乎都是训练数据的 output 格式不统一。修法是回头清洗数据，把所有 output 的格式（前缀、标点、长度、结构）统一。如果数据改不动，退而求其次在推理时用固定的 system prompt 约束输出格式。

故障五：显存溢出 OOM。训练中途崩掉报 CUDA out of memory。修法按代价从低到高：先缩小 batch size，配合梯度累积（gradient accumulation）补回有效批次大小；再开梯度检查点（gradient checkpointing，用计算换显存）；还不行就换 QLoRA 把基座量化（详见 2.2 节）。

3.2 一个最容易被忽视的坑：评估方式

很多人微调完，拿几个问题手动问一下觉得"好像变好了"就上线。这种肉眼评估极不可靠。正确的做法是准备一个固定的评估集（一两百条覆盖典型场景的问题加期望答案），用自动化指标（如 ROUGE、BLEU、BERTScore）或模型做裁判（让另一个大模型打分）量化评估，每次改动都跑一遍对比。

评估集要提前准备、不要动。它既是上线前的把关，也是调参时的指南针——没有它，你永远在凭感觉调参。

💡 关键直觉：微调最大的浪费不是算力，是时间。没有固定评估集，你每次改动都要花几天手动测试还测不准。先花一天搭好评估流程，后面每次迭代都能在几小时内得到可信结论，这笔投资回报极高。

3.3 数据增强的几个实用招数

数据不够时，几个增强手段：

第一是用大模型生成合成数据。让 GPT-4 这类强模型根据几条种子样本生成更多同类指令-输出对，再人工筛选。注意要筛，合成数据里常有低质量样本。

第二是指令改写。同一条指令换几种说法（"总结一下""帮我缩写""概括这段话"），扩充指令多样性，提升模型对真实问法变化的鲁棒性。

第三是难度分层。同一任务准备简单、中等、困难三档样本，避免模型只学会简单模式。困难样本（长输入、模糊指令）尤其珍贵。

3.4 数据质量审计流程

数据准备好别急着训，先做一遍质量审计。一个实用的审计流程：随机抽 50 到 100 条样本人工通读，按几个维度打分——指令是否清晰无歧义、output 格式是否统一、输入输出是否真的对应、有没有事实错误。把问题样本归类统计，能快速看出数据的主要毛病在哪。

常见的高频问题有几类。一类是指令模糊——"处理一下这段话"这种没说清要干啥，模型学不到明确模式。一类是output 不完整或过度——该一句话的给了一段，该详细的只给一句。一类是input 和 output 错位——input 是 A 文档，output 却在讲 B，这种错位样本会让模型困惑。还有一类是风格漂移——前 80% 数据的 output 是正式语体，后 20% 突然变口语，模型学到混乱。

审计完，针对最高频的那类问题集中修。比如发现 30% 样本指令模糊，就花时间把指令改清晰——这一项的收益往往比调任何超参都大。我的经验是，数据审计加修复占整个微调项目时间的三到四成，但它的投入产出比最高。

💡 关键直觉：微调项目的成败，七成在数据、两成在评估、一成在方法和超参。把时间和精力按这个比例分配——多花时间在数据清洗和评估集搭建上，少在超参网格搜索上耗。这个分配比例和多数人的直觉相反（多数人把时间花在调参），但它是被反复验证的高性价比做法。

四、分层练习

入门：把你手头的一批微调数据按本节格式整理，重点检查 output 格式是否统一（标点、前缀、长度），统计有多少格式不一致的样本。

进阶：搭一个固定评估集（100-200 条），写一个自动跑分脚本，用 ROUGE 或模型打分评估微调前后效果。后续每次改动都用它对比。

挑战：故意构造一个过拟合场景（小数据加多轮次加高秩），观察训练 loss 和验证 loss 的分叉，然后逐个加上"减轮次、降秩、加 dropout"修法，记录每步验证 loss 的变化，体会正则化的作用。

核心回顾

• 数据决定上限，方法只是逼近上限，微调比 RAG 更认数据，错数据会把错误烙进权重。
• 指令数据是 instruction-input-output 三元组，instruction 要覆盖真实问法、output 格式要统一、同义指令要多写。
• 数据量级决定策略：少数据低秩精标防过拟合，多数据重在清洗去噪，质量永远比数量重要。
• 五个最常见故障：loss 不降（学习率/loss计算）、过拟合（减轮次降秩）、灾难性遗忘（混通用数据）、格式漂移（统一output）、OOM（缩批次/梯度检查点/QLoRA）。
• 判断模型好坏永远看验证集，不是训练 loss；训练 loss 一路降而验证差是过拟合前兆。
• 先搭固定评估集再调参，这笔时间投资回报极高，避免凭感觉盲调。

第二章收尾。微调讲到这里。下一章我们转向"不动模型也能提升效果"的手段——提示工程，从基础的上下文学习到思维链、自洽推理等高级技巧。