SFT 指令数据，3 条好数据胜过 3000 条废数据

01反共识：多不一定好，同质化会毁模型

很多人 SFT 第一步是"多搞数据"——爬几万条 QA 灌进去训。结果模型越训越笨：回答千篇一律，泛化变差。

问题在同质化：几万条数据如果是同一个模板生成的（"什么是X""X的特点是..."），模型学到的是这个模板而不是真正的指令遵循。它会对没见过的问法失效。质量三要素：

• 正确性：答案必须对。错答案会直接教坏模型，1 条错答案的破坏力 > 100 条好答案的增益。
• 多样性：指令的问法、领域、长度、难度要分散。同质化数据让模型过拟合模板。
• 难度：要有需要推理、多步、拒答（该拒的）的难样本。全是简单 QA 学不到复杂遵循。

LIMA 的证据：1000 条人工精标的对话数据，base 模型 SFT 后对话能力接近 GPT-4。说明质量是杠杆，数量是边际递减。从 1000 到 10000 提升远小于从 0 到 1000。

02数据质量自测：给你的指令数据打分

回答 4 个问题，看你的 SFT 数据是黄金、及格还是垃圾。

03数据筛选的三个动作

• 去重：指令级和答案级去重。相似度高的留一条，否则同质化拉低多样性。MinHash/向量相似度都行。
• 难度过滤：用模型给每条数据打"难度分"（模型自己答得费劲的留），过滤掉太简单的。这是 "Less is More" 的核心。
• 质量打分：用强模型当裁判给答案打分，留高分。或者用 IFD（指令跟随难度）指标排序取 top。

一个常见坑：先堆量再筛，筛完发现 90% 是废的，白训了三轮。先筛再训——哪怕只有 2000 条，质量高也比 5 万条杂的好。nanochat 的实践：用几千条高质量数据 SFT，效果超过几万条未筛的。

04带走这套数据清单