Evals 实战 · 第 7 章 概率系统评测

Evals 实战 · 第 7 章 概率系统评测

章节摘要：LLM 应用本质是概率系统：输出不是唯一答案，而是带不确定性的采样。本章把第 4 章立好的三个口径——校准（4.2）、代价（4.4）、漂移（1.2）——变成三套可运行的生产工具。7.1 可靠性曲线与 ECE 实操：把《Jev 决策编程》9.2 节的脚本扩展到通用置信度场景——logprobs 聚合、裁判映射、自报置信三来源各自的 (置信, 命中) 数据，输出文本可靠性曲线、ECE（<0.05 优 / >0.15 慎用，全书同一口径）与线性缩放修复；脚本带 MOCK 模式，无 API Key 直接跑，换真实日志只需替换数据加载函数。7.2 代价化阈值：延续《Jev 决策编程》9.3 节的阈值代价分析——F1 最优不等于代价最优，sweep_threshold 在"错放"与"误拦"代价不对称时扫出期望代价曲线，把置信度翻译成转人工阈值这类生产参数，并做代价假设的敏感性检查。7.3 分布漂移检测：输入漂移最隐蔽，业务指标是滞后信号；PSI = Σ(实际占比 − 预期占比) × ln(实际占比/预期占比)，>0.25 显著漂移（风控通行口径），配等频分桶与周度体检节奏，让"考卷渐与线上脱节"在事故前现形。三节合起来一句话：概率系统的质量，最终要以"参数 + 报警"的形式交给生产。

学习目标

阅读完本章，你应当能够：

1. 用带 MOCK 模式的脚本对三类置信度来源出可靠性曲线与 ECE，并执行线性缩放修复。
2. 说明 ECE 口径（<0.05 / >0.15）在不同来源上的判读差异。
3. 用 sweep_threshold 在不对称代价下选出生产阈值，并做敏感性分析。
4. 实现 PSI（等频分桶 + 平滑），把周度体检落成可执行的流程。
5. 把三项工具的输出接到第 8 章监控面板的告警阈值上。
6. 说出每项工具的前置条件（如阈值依赖校准合格）与失效方式。

核心概念速览

（文字流程图）
A ──▶ "7.2 代价化阈值·期望代价曲线 + 敏感性·（扩展 Jev 9.3）"
A ──▶ "7.3 漂移检测·PSI + 等频分桶 + 周度体检"
B ──▶ "生产参数：校准合格才许路由·转人工阈值写进配置"
"7.2 代价化阈值·期望代价曲线 + 敏感性·（扩展 Jev 9.3）" ──▶ "生产参数：校准合格才许路由·转人工阈值写进配置"
"7.3 漂移检测·PSI + 等频分桶 + 周度体检" ──▶ "报警：PSI > 0.25 触发动作·→ 第 8 章监控与回退"
"生产参数：校准合格才许路由·转人工阈值写进配置" ──▶ "报警：PSI > 0.25 触发动作·→ 第 8 章监控与回退"
​

一句话金句：概率系统的质量，最终要以"参数 + 报警"的形式交给生产——曲线和指标只是中间站。

子章节导航

7.1 可靠性曲线与ECE实操

三来源 MOCK 数据生成；文本可靠性曲线与 ECE 计算；线性缩放校准修复（网格搜索）；接入真实数据的替换点。

7.2 代价化阈值：从指标到生产参数

为什么 F1 最优常常不是代价最优；错放/误拦成本表；sweep_threshold 完整实现；阈值版本化与敏感性检查。

7.3 分布漂移检测：PSI与分桶监控

PSI 公式与三级口径；等频分桶与平滑处理；周度体检节奏与触发动作；PSI 的盲区与补救。

子章节之间的逻辑关系

7.1 校准实操（置信度可信吗：ECE 度量 + 修复）
      │  置信度可信后，才能拿它做生产决策 ↓
7.2 代价化阈值（置信度用在哪：最优阈值 = 代价最小处）
      │  阈值与指标都建立在"分布不变"的假设上 ↓
7.3 漂移检测（分布变了吗：PSI 周度体检）
      │
      ▼
三项输出汇入生产：校准合格证 / 阈值参数 / PSI 报警
   → 第 8 章：监控面板、告警分级与回退预案
​

前置知识与后续延伸

前置知识：第 4.2 节（校准概念与 ECE 口径——本章脚本的判定标准）；第 4.4 节（成本视角与分级路由——7.2 的成本表来源）；第 1.2 节（三重风险中的漂移——7.3 的问题定义）；《Jev 决策编程》9.2/9.3 节为扩展母体。

为后续奠定基础：7.1 的校准合格证是第 8.1 节影子晋级门的判据之一；7.2 的阈值成为第 8.2 节告警阈值表的生产参数；7.3 的 PSI 矩阵直接进第 8.2 节监控面板与第 8.3 节回退触发器。三套脚本也将进仓库（第 9.1 节）并被 CI 周任务调度（第 9.2 节）。