大模型评测与选型：给选择者的判定方法

教程总纲 · 大模型评测与选型：给选择者的判定方法

这本教程写给要下选型决定的人：榜单怎么读、指标什么意思、基准可信吗、怎么为自己场景测一把、怎么把证据变成决定。它不讲"怎么建评测体系"——那是姊妹篇《Evals 实战：LLM 评测工程》（建设者篇）的领地。

这本教程讲什么

2026 年的模型选择者面对的是评测过载：榜单平台比候选模型还多，每家都自称客观。公开搜索实测（2026-09）：搜「模型评测」，前 8 位里 5 条是榜单平台、2 条讲方法、0 条讲"评测本身可信吗"——你能轻易查到"谁分高"，却查不到"这分能信几分"。这个空位就是本书的位置。

全书是一条判定方法的流水线：先把公开评测的语言学会——评测世界有基准、榜单、竞技场、平台四种形态，各自的利益结构决定分数的含义；竞技场的 Elo 由成对投票算出，读它必须懂置信区间与风格噪声；F1、BLEU 这些指标各有口径与骗术。然后给公开分数做三道折价——污染折价（题目进过训练数据吗）、错位折价（考卷与你的场景隔多远）、动机折价（谁出题、谁阅卷、谁付钱），收进一页核对表。折不过的分数，用五十条盲测把证据抓回自己手里。最后用需求矩阵、成本延迟质量三角与选型报告模板，把证据变成可签字的决定，并延伸到 Agent 场景与持续跟踪。

本书立场鲜明：判定方法优先于概念科普；公开分数是起点不是终点；任何"第 1 名"都先过三问——考什么、谁判、跟谁比。

学习路径一览

（文字流程图）
B ──▶ "第 2 章 榜单怎么读·Elo 与 BT · 置信区间 · 风格噪声"
"第 2 章 榜单怎么读·Elo 与 BT · 置信区间 · 风格噪声" ──▶ "第 3 章 指标速查·F1 · 生成指标局限 · 十问清单"
I ──▶ "第 9 章 持续跟踪·版本漂移 · 再评测节奏"
"第 3 章 指标速查·F1 · 生成指标局限 · 十问清单" ──▶ E
F ──▶ "第 6 章 自建轻量实测·五十条盲测 · 内部竞技场"
"第 6 章 自建轻量实测·五十条盲测 · 内部竞技场" ──▶ H
​

按需跳读

章节目录（按篇分组）

读懂榜单篇

• 第 0 章 导览
  • 《0.1 选择者的困境：榜单越多越不会选》
  • 《0.2 学习路线与本书用法》
• 第 1 章 评测全景
  • 《1.1 基准、榜单、竞技场与平台：四种形态》
  • 《1.2 主流榜单与平台速览》
• 第 2 章 榜单怎么读
  • 《2.1 Elo 与胜率：排名是怎么算出来的》
  • 《2.2 置信区间与头部效应：第 1 名和第 3 名差多少》
  • 《2.3 风格博弈与投票噪声》
• 第 3 章 指标速查
  • 《3.1 分类指标：准确率、精确率、召回与 F1》
  • 《3.2 生成指标与它们的局限》
  • 《3.3 一份评测报告的读法清单》

识破坑篇

• 第 4 章 基准的坑
  • 《4.1 数据污染与刷榜》
  • 《4.2 能力分数与你的场景错位》
  • 《4.3 评测可信度核对表》
• 第 5 章 模型一致性与身份
  • 《5.1 模型被悄悄换掉：案例与判定》
  • 《5.2 指纹比对与自查动作》

自己测篇

• 第 6 章 自建轻量实测
  • 《6.1 五十条盲测：最小可行实测（含完整脚本）》
  • 《6.2 成对比较与内部竞技场》（引用《Evals 实战》第 5 章）

做决策篇

• 第 7 章 选型决策
  • 《7.1 需求矩阵与候选筛选》
  • 《7.2 成本延迟质量三角》
  • 《7.3 选型报告模板》
• 第 8 章 Agent 场景评测
  • 《8.1 任务完成率与轨迹评测》
  • 《8.2 虚报判定：Overclaim 的问题与做法》
• 第 9 章 持续跟踪
  • 《9.1 版本漂移与再评测节奏》
  • 《9.2 跟踪自动化》

附录

• 《附录 A 术语表》
• 《附录 B 榜单与平台速查》
• 《附录 C 练习题》（8 题，折叠提示与参考要点）

参考来源

• LMSYS 博客 Chatbot Arena: New models & Elo system update（2023-12，BT 切换与置信区间口径，官方）；LMArena 官方风格控制功能说明（2024-09 上线，官方）
• Chiang et al.：Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference；A Statistical Framework for Ranking LLM-Based Chatbots（竞技场统计方法的学术表述）
• Zheng et al.：Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（裁判与投票偏见的研究来源）
• Benchmark Data Contamination of Large Language Models（arXiv 2406.04244，污染综述）；Deng et al.：Investigating Data Contamination in Modern Benchmarks（NAACL 2024）；QuixBugs/BigCloneBench 泄漏率（社区整理的研究数字）
• OpenCompass 司南官方文档与 GitHub；SuperCLUE 官网（四能力象限口径，官方自述）
• 模型指纹方向公开研究（行为指纹、单 token 指纹，2026；服务第 5 章）；端点行为稳定性监控研究（能量距离 + 置换检验，ACM 2026）
• OverclaimBench：Quantifying Overclaiming Propensity in Frontier LLM Agents（arXiv，2026-09-18；服务第 8 章，本书只借方法框架不转述成绩）
• 同库《Evals 实战：LLM 评测工程》第 4/5/6/9 章；《深入理解 AI Agent：设计原理与工程实践》第 6 章（纯文字交叉引用）