Jev 决策编程 · 第 9 章 评测与校准

Jev 决策编程 · 第 9 章 评测与校准

章节摘要：本章的立场写在标题里：别信任何模型的校准宣传，包括 Jev 的。 校准是"在你的数据分布上"才成立的性质，验证它只要 30 行代码。三步走：回归集（9.1）——从影子日志抽 100~500 条人工标注，此后每次改 instructions/选项表/版本都重跑，这是 Jev 开发的"单元测试循环"；可靠性曲线与 ECE（9.2）——按预测概率分桶，比较"预测均值 vs 实际命中率"，量化指标 ECE（<0.05 优秀，>0.15 慎用），完整脚本内嵌本节、含无 Key 的 MOCK 模式；阈值即代价（9.3）——门控阈值不是玄学，是混淆代价函数的解：列出错放/错拦的代价，在回归集上画"阈值 × 自动化比例 × 错误率"曲线选工作点。9.4 附持续监控的周度节奏：校准会随分布漂移，ECE 超线即回影子模式。

学习目标

阅读完本章，你应当能够：

1. 建立并维护一份回归集，把它接入 schema 变更流程。
2. 运行内嵌脚本画出可靠性曲线、算出 ECE，并解读过度自信/不足。
3. 用代价分析为任何门控阈值给出理由，而非拍脑袋。

核心概念速览

一句话金句：改一句 instructions 就重跑一遍回归集——这是 Jev 开发的单元测试循环。

子章节导航

9.1 回归集：Jev 开发的测试循环

样本从哪来、标多少、变更 gating 怎么接、混淆矩阵怎么读。

9.2 可靠性曲线与 ECE：验证校准

分桶方法与画法；ECE 计算；完整脚本（05_calibration_check.py，含 MOCK 模式）。

9.3 阈值即代价：门控参数怎么定

代价表；"阈值 × 自动化 × 错误率"曲线；不对称阈值的三段式。

子章节之间的逻辑关系

9.1 回归集（数据底座 —— 没有它后两节无从谈起）
   │
   ▼
9.2 校准验证（模型可信度体检 —— 概率能不能当合同）
   │
   ▼
9.3 阈值选择（把体检结果翻译成生产参数）
   │
   ▼
9.4 持续监控（周度节奏，分布漂移的哨兵）——并入 9.3 末尾
​

前置知识与后续延伸

前置知识：第 5.2~5.3 节（校准与门控）、第 8 章（影子日志与落盘）。

为后续奠定基础：本章方法是你与第 10 章批评对话的底气——"约束形状不约束判断"的解药，正是"用回归集约束判断"。