大模型评测与选型 · 第 7 章 选型决策

大模型评测与选型 · 第 7 章 选型决策

章节摘要：证据齐了，怎么变成可以签字的决定？7.1 交付需求矩阵：把"想要个好模型"翻译成可打分的需求——硬约束（数据合规、语言、部署形态——不满足即出局，是门槛不是权重）+ 加权维度（盲测质量分、稳定性、生态、价格弹性、供应商风险，权重和为 10），四层筛选漏斗把全市场收敛到 12 个胜者：信息源初筛（第 12 章工具）→ 硬约束过滤 → 加权排序 → 第 6 章盲测复核，附脚本。7.2 交付成本延迟质量三角：三维口径先钉死（质量=盲测分，成本=每千次任务而非每千 token 单价，延迟=P95/P99 而非平均值），再讲 Pareto 读法——被支配解没有任何借口留在候选池，前沿是取舍集合不是答案，最后一刀由业务门槛切；建设者侧的监控口径见《Evals 实战》4.4。7.3 交付**一页选型报告模板**——本书的最终交付物：决定与生效条件、需求矩阵摘要、证据链（含来源与日期）、三角数据、风险与预案、复核节奏，每个区块都有写法纪律。评审会十五分钟，从此选型从"拍脑袋"变成"可追责"。

学习目标

阅读完本章，你应当能够：

1. 把业务需求拆成硬约束与加权维度，填出需求矩阵。
2. 用四层漏斗把全市场候选收敛到 1~2 个，并说出每层的工具。
3. 钉死成本、延迟、质量三者的测量口径，避开三个常见口径陷阱。
4. 用 Pareto 前沿淘汰被支配解，用业务门槛在前沿内做最后取舍。
5. 填写一页选型报告并主持十五分钟评审会。

核心概念速览

（文字流程图）
B ──▶ "四层漏斗：全市场 -> 初筛 5~8 个 -> 硬约束存活 2~4 个 -> 盲测复核 -> 胜者 1~2 个"
"四层漏斗：全市场 -> 初筛 5~8 个 -> 硬约束存活 2~4 个 -> 盲测复核 -> 胜者 1~2 个" ──▶ "7.2 成本延迟质量三角·Pareto 前沿 + 业务门槛切一刀"
"7.2 成本延迟质量三角·Pareto 前沿 + 业务门槛切一刀" ──▶ "7.3 一页选型报告·（本书最终交付物）"
"7.3 一页选型报告·（本书最终交付物）" ──▶ "评审会 15 分钟 -> 可签字的决定"
​

一句话金句：选型决定的不是"谁最好"，而是"哪个可辩护的风险组合"。

子章节导航

7.1 需求矩阵与候选筛选

从业务诉求到可打分需求：硬约束与加权维度的分界；需求矩阵模板与权重纪律（德尔菲两轮）；四层筛选漏斗与各层工具；脚本固化（硬约束过滤 + 加权排序）；三种常见病。

7.2 成本延迟质量三角

三维口径的钉法（每千次任务成本、P95 延迟、带区间的质量分）；三种真实取舍模式；Pareto 前沿的读法与被支配解出局；脚本固化；三个口径陷阱。

7.3 选型报告模板

一页纸七区块模板全文；每区块的写法纪律（证据带来源与日期、分数带区间、失败案例必写）；示意填写样例；评审会流程。

子章节之间的逻辑关系

7.1 需求矩阵（收敛：从"想要"到"候选池收窄 + 排序"）
      │  排序领先的候选 ↓
7.2 三角（取舍：质量不能单说，成本延迟一起算 -> 前沿 + 门槛）
      │  取舍定了 ↓
7.3 选型报告（签字：把矩阵、证据、取舍、风险收进一页纸）
      │
      ▼
第 8 章：场景延伸（Agent 任务的评测口径）· 第 9 章：决定之后（漂移与再评测）
​

前置知识与后续延伸

前置知识：

• 第 6 章盲测与竞技场（矩阵里"盲测质量分"一列的数据来源）；
• 4.3 核对表与 4.2 距离矩阵（漏斗第 1~2 层的工具）。

为后续奠定基础：7.3 报告的"复核节奏"区块直接引出第 9 章持续跟踪；"风险与预案"区块引用 5.1 的治理三件事（通知义务、快照口径、退出条款）；"三角"的监控口径在建设者侧的对应物是《Evals 实战》4.4（线上成本与延迟监控）——选择者定门槛，建设者守门槛。