5.3 概率、置信度与门控

5.3 概率、置信度与门控

本节摘要：Choice 和 Score 的返回里除了 probabilities 还有一个 confidence，初学者最容易混为一谈。本节的锚点：probabilities 回答"选项间怎么分"（分布），confidence 回答"这道题我做得有多有底气"（元判断）——两者正交。一个经典组合：分布 55/45 略偏 billing、confidence 0.35——模型略偏向一个选项，但自己都知道不太确定。只用 choice 不看 confidence，等于把校准信息扔掉一半。由此得到置信度门控（confidence gating）的通用模式与社区基线：普通自动决策 confidence < 0.5 转人工；高风险自动执行要求 probability > 0.9 才放行——并强调所有阈值必须在自己的回归集上重调（第 9.3 节）。

学习目标

阅读完本节，你应当能够：

1. 用一句话说清 probabilities 与 confidence 的区别。
2. 解读三种典型的"分布 × 置信度"组合。
3. 写出带门控的分支逻辑，并说出两个基线阈值的适用条件。

一、两个正交的维度

它们可以自由组合，三个经典读法：

⚠️ 最常见误用：只取 choice 字段走分支，把 probabilities 和 confidence 全扔掉——等于把 Jev 与"硬拍脑袋的分类器"的区别亲手抹掉。至少把三个字段全量落盘（第 8.3 节），它们是阈值调优的全部原料。

二、置信度门控（confidence gating）

把"低置信 → 不自动"写成固定模式：

a = answers["route"]

if a.confidence < 0.5:                    # 门控：底气不足，走保守路径
    return human_queue(ticket)

if a.choice == "billing" and a.probabilities["billing"] > 0.9:
    return auto_route("billing")          # 分布一边倒且底气足，自动执行

return auto_route(a.choice)               # 中间地带：自动执行 + 抽检
​

社区实测给出的两条基线（Flavio Copes 等，务必在自己的数据上重调，方法见第 9.3 节）：

两个方向可以不对称：护栏类判断（第 7.3 节）"拦截"阈值很低（0.3 就拦，宁可错杀），"放行"阈值很高（0.9 以上才自动放行）——不对称的根源是两类错误的代价不对称（第 9.3 节代价函数）。

三、Noul 为什么没有 confidence

是非题的答案本身就是概率，"对判断的把握"已经编码在概率离 0.5 的距离里：0.97 是"是，且有把握"；0.55 是"可能是，但心里没底"。所以 Noul 不需要额外的元判断字段——概率的极值就是置信度。

这给出一个实用的等价门控：

p = answers["is_urgent"].noul
if abs(p - 0.5) < 0.15:     # 离 0.5 太近 = 拿不准
    return conservative_path()
​

四、门控的三个配套纪律

1. 阈值不是玄学：每个阈值都应对应一份代价分析（第 9.3 节）和回归集上的实测曲线；
2. 门控路径要可观测：转人工的比例、拦截率是核心运营指标，超预期漂移即回影子模式（第 8.2 节）；
3. 不要层层叠加门控而不算总账：三道 0.9 的闸门串联，整体通过率可能骤降——用概率算总账，而不是拍脑袋串闸门。

本节要点回顾

1. 正交：probabilities = 选项间分布；confidence = 对判断的元把握；Noul 的 confidence 编码在概率离 0.5 的距离里。
2. 门控：confidence < 0.5 转人工；高风险放行要 p > 0.9；拦/放阈值可不对称。
3. 纪律：三字段全落盘、阈值配代价分析、串联闸门算总账。

机制层齐了：快（5.1）、可信（5.2）、可门控（5.3）。从下一章起进入应用篇——分类、路由、评分、排名、验证、护栏六大模式，每个都是这三块机制的组合技。