Laya 实战：多语言轻量决策引擎与路由 · 第 7 章 校准与置信门控

Laya 实战：多语言轻量决策引擎与路由 · 第 7 章 校准与置信门控

章节摘要：微调（第 5 章）让答案变对，本章让概率变可信——这是 laya 概率能当工程契约用的最后一道工序。7.1 节讲温度拟合：在留出集上拟合单一温度参数，把「排序对但数值偏」的分布拉回与真实频率对齐；拟合数据有三条要求（与上线分布同分布、不与训练集混用、规模够）；并立一条铁律——每次微调后必须重新拟合，校准不会自动跟随微调。7.2 节辨析两种置信：answer_confidence 是首选答案自身的概率（答者有多笃定），entropy confidence 是整个分布的熵（这道题的答案空间有多清晰），公式均为示意，各自适配不同的门控场景。7.3 节把置信变成动作：min_confidence 低于阈值即弃权——阈值不拍脑袋，用业务代价矩阵算；弃权率与准确率的取舍曲线（示意）给出验收视角。方法学的完整版在《Evals 实战：LLM 评测工程》第 07 章《概率系统评测》，本章只讲 laya 侧的落地。

学习目标

• 在留出集上完成温度拟合，并说出拟合数据的三条要求。
• 解释为什么微调后必须重新拟合温度：校准不自动跟随训练。
• 区分 answer_confidence 与 entropy confidence 的语义与适用场景。
• 用业务代价矩阵推导 min_confidence 阈值，而不是拍脑袋定值。
• 读懂弃权率与准确率的取舍曲线（示意值口径），为业务选定工作点。
• 把「不知道」（noul 第三值）与弃权门控统一进同一张处置矩阵。

核心概念速览

从「答案对」到「概率可信」的三道工序

  第 5 章产出                7.1 温度拟合               7.3 置信门控
┌────────────────┐      ┌──────────────────┐      ┌────────────────────┐
│ 微调后检查点     │      │ 留出集上拟合温度 T │      │ confidence ≥ 阈值？ │
│ 排序对·数值偏    │ ───▶ │ 概率对齐真实频率  │ ───▶ │  是 → 自动执行      │
│ 0.9 可能不是九成 │      │ 0.9 就是九成      │      │  否 → 弃权转人工    │
└────────────────┘      └──────────────────┘      └────────────────────┘
                                 │ 7.2 两种置信：测的是「笃定」还是「清晰」
                                 ▼
                    answer_confidence（首选概率）
                    entropy confidence（分布熵）
​

一句话金句：没校准的概率只是个方向，校准过的概率才是数字；门控只对数字负责。

（文字流程图）微调后的检查点 ──▶ 留出集温度拟合 ──▶ 两种置信按场景选用 ──▶ 代价矩阵定阈值 ──▶ 弃权门控上线 ──▶ 定期重校准（第 10.3 节运维闭环）。

子章节导航

• 第 7.1 节《温度拟合》：校准流程、拟合数据三要求、微调后重拟合铁律。
• 第 7.2 节《两种置信 answer 与 entropy》：公式（示意）、语义差异、场景对照表。
• 第 7.3 节《min_confidence 弃权》：代价矩阵法定阈值、取舍曲线（示意）、弃权运营。

三节按序读：先让概率可信（7.1），再选对度量（7.2），最后变成动作（7.3）——顺序颠倒会把门控建在不可信的数字上。

子章节之间的逻辑关系

┌──────────────┐  提供可信的概率    ┌──────────────────┐  提供门控度量     ┌──────────────┐
│ 7.1 温度拟合 │ ───────────────▶ │ 7.2 两种置信      │ ──────────────▶ │ 7.3 弃权     │
│              │                  │ answer / entropy │                  │ min_conf     │
└──────┬───────┘                  └────────┬─────────┘                  └──────┬───────┘
       │ 铁律：微调后重做                   │ 度量选择影响阈值语义              │ 弃权率是运营指标
       ▼                                   ▼                                  ▼
     第 5 章（每轮微调的收尾工序）        第 6 章（聚合后的分布同样要过校准视角）      第 10.3 节（重校准与漂移监控）
​

前置知识与后续延伸

• 前置：第 5 章的微调与留出集（温度拟合的数据就来自那里）；第 1.2 节的分布形态（两种置信测的都是它）。
• 后续：第 10.3 节把「重校准、漂移监控」编入上线运维清单；第 9 章选型时，「概率是否需要自证可信」是 laya 与托管方案的一条分界线。
• 延伸阅读：《Evals 实战：LLM 评测工程》第 07 章《概率系统评测》——ECE、可靠性曲线与代价化阈值的完整方法学；《Jev 决策编程》第 09 章《评测与校准》——门控阈值与回归集的配套用法。