模型评测，跑分高不等于好用

01反共识：benchmark 会过拟合

排行榜上的高分模型，换到你的任务上常常拉胯。因为 benchmark 数据会"漏"进训练集。

三个跑分陷阱：

• 数据污染：MMLU/GSM8K 的题目被爬进训练数据，模型"背"了答案而不是"会"。表现为跑分虚高、稍改题目就崩。
• 单维偏科：MMLU 测知识，不测指令遵循。一个"百科全书式但听不懂指令"的模型 MMLU 高但难用。
• 分布偏差：benchmark 题目分布和你真实任务分布不同。代码 benchmark 高不代表会写你的业务代码。

所以跑分是必要不充分：能筛掉明显差的，但跑分高不保证好用。选模型要跑分 + 真实任务样本 + 人工盲评，三者结合。

02评测维度闯关：选场景看该测什么

选你的使用场景，看该测哪些维度、各自多重要。

03怎么搭一个不被骗的评测

• 私有 benchmark：自己造一批不公开的真实任务样本，定期换新。防数据污染，测的是真实泛化。
• 多维打分：不只测正确率，加指令遵循、格式稳定、拒答准确、安全。每维单独看，别合成总分掩盖短板。
• 人工盲评：把候选模型回答匿名排序，让人评哪个更好。比自动指标更接近"好用"。
• 对抗样本：故意加诱导越狱、模糊指令、长上下文里埋雷，看模型在压力下的表现。

一个常见坑：只看一个总分选模型，结果上线后发现某个关键维度（如拒答）崩了。多维分开看短板，短板决定能不能用，长板只决定上限。

04带走这套评测清单