灏天文库 · 知识工坊 | 人生决策实验室 · 第 5 期 · 第一季收官

什么时候该信 AI 的判断:阈值即代价

副题:门控、期望损失与三段式——把「信多少」变成一道可解的题

一句话结论

「AI 说的有八成把握,我该不该听?」——这个问题本身问错了。正确的问题是一张代价表:错放(该拦没拦)值多少钱,错拦(误打扰)值多少钱?把两张账写清楚,最优阈值不是拍出来的,是解出来的:阈值是混淆代价函数的解,不是感觉。

收官期把前四期串成一条完整的决策流水线:认识预算 → 改写判断题 → 题型设计 → 投票放大 → 最后一块拼图,门控阈值。

01代价表先行:两种错误,各值多少钱

任何门控决策都只有两种错误——错放(该拦没拦/该转人工没转)和错拦(误打扰/多走人工)。先给它们标价:

场景错放错拦阈值倾向
命令护栏
AI 替你执行删除/提交
删库/泄密,不可逆(≈5 万)一次确认弹窗(≈0.5 元)极不对称
垃圾过滤用户看到垃圾(≈0.1)正常邮件进垃圾箱(≈5)拦截偏高
工单路由转错组再转一次(≈0.3)同左对称:0.5 即可

期望损失一句话:L(t) = 错放数(t) × 错放代价 + 错拦数(t) × 错拦代价——错放数和错拦数都是阈值 t 的函数(t 越高越敢拦……不,t 越高越敢放,错放越多、错拦越少)。扫一遍 t,找 L(t) 最小的那个点,就是你的工作点。

金句卡 1 / 3
先别问 AI 有几成把握——先问自己:放错和拦错,各值多少钱。
灏天文库 · 人生决策实验室 · 第 5 期

02门控沙盘:亲手扫一条损失曲线

模型给危险判断输出的概率分布在下方沙盘里(危险项集中在高分、安全项集中在低分,中间有重叠——重叠区就是全部难题所在)。调节两张代价表和阈值 t,看 L(t) 曲线弯向哪里:

交互实验 · 门控沙盘合成分布 · 实时扫阈
错放代价(该拦没拦)¥100
错拦代价(误打扰)¥10
期望损失 L(t) 阈值 t
0.85
最优阈值 t*
¥23/千次
最小期望损失
48%
该点自动化率

沙盘用两个合成分布(安全≈Beta(2,6)、危险≈Beta(7,2),各 1000 次/千次流量)精确计算 L(t)。注意工作点不一定取 L 最小:合规常要求「错放率绝对上限」——曲线给选项,约束定取舍。

03三段式:把右尾方差卖回给人工

代价极不对称时(比如命令护栏:错放=删库,错拦=点一下确认),单点阈值有个致命伤——L(t) 最小值常落在「高自动化」区,但一次删库就摧毁全部节省。工程解法是把阈值拆成三段:

p < 0.3 → 拦下吃掉明显危险:直接拒绝或要求二次确认
0.3 ~ 0.9 → 人工中间带交给人:把不可承受的方差卖回给确定性
p > 0.9 → 放行吃掉明显安全:全自动通过

中间带的宽度就是你能承受的人工确认量。这个设计的精髓:机器不替你赌大的,人只在数学说不清的那一小段出场——第一期的「深思预算」,在这里找到了数学化的花法。

金句卡 2 / 3
机器不替你赌大的——人只在数学说不清的那一小段出场。
灏天文库 · 人生决策实验室 · 第 5 期

04校准会漂移:上线只是开始

阈值定好不是终点——校准随输入分布漂移:用户构成变了、攻击者开始针对了、内容风格演进了。判断系统的体检节奏:

对个人的翻译:你的「直觉阈值」同样会漂移——换行业、换城市、换了朋友圈之后,旧概率不再可信,需要重新攒回归集。这就是为什么第 4 期让你建「判断台账」:它是你个人的校准数据。

✓第一季总复盘:五期一条线

第 1 期 决策预算与两套系统
第 2 期 把纠结改写成判断题
第 3 期 三种题型的设计纪律
第 4 期 投票放大与 50% 分水岭
第 5 期 阈值即代价 · 门控收官
  • 给你最常外包的一个判断写两张代价表——错放多少、错拦多少,本周就写。
  • 用沙盘扫出你的 t*:生活里的版本 =「低于 30% 直接拒、高于 90% 直接干、中间问人」。
  • 检查你的门控是否只有一段:高代价不可逆的决定,必须留中间带。
  • 季度重校准:翻判断台账,看你的 p 值漂了没有。
  • 整套心法一句话:预算有限、题型先行、投票过半、代价定阈。
金句卡 3 / 3 · 转发卡
「信不信 AI」是坏问题——「放错和拦错各值多少钱」才是好问题。
灏天文库 · 人生决策实验室 · 第 5 期