Evals 实战 · 第 8 章 线上评测与监控

Evals 实战 · 第 8 章 线上评测与监控

章节摘要：离线回归集守住"每次变更"，但"上线之后"需要另一套防线——本章三节构成从"怎么安全地换"到"怎么及时发现坏了"再到"坏了怎么办"的完整闭环。8.1 影子模式与 A/B 测试：与《Jev 决策编程》8.2 节呼应并把影子模式推广到一切 LLM 应用——新版本在旁路对真实流量跑但不生效，用第 5 章裁判打分对照，晋级判据是"影子分不低于线上分减容忍带且无红线违规"；A/B 测试则把统计纪律立起来：单一变量、事先算好样本量（附两比例样本量脚本）、跑满完整周期、停止规则先定。8.2 监控面板与告警设计：三层指标集——技术层（延迟 p95、错误率、单请求成本）、语义层（低置信占比、拒答率、负反馈率、抽检忠实度与裁判分）、漂移层（第 7.3 节 PSI 矩阵）——拼成一页式面板（第 4.4 节仪表盘的线上版），配一张"正常/观察/告警"三级阈值表与分级响应（提示 → 工单 → 寻呼），附告警判定脚本。8.3 回退与应急预案：软回退（切模型/降级）、硬回退（回滚版本）、熔断三级手段，配一份可直接套用的 runbook 模板（触发条件、决策权限、动作清单、验证步骤、复盘要求），以及"可回退的前提是版本化 + 金丝雀 + 配置开关"与季度演练。三章收束为一句：监控不是报表，是"发现—决策—回退"的反应链。

学习目标

阅读完本章，你应当能够：

1. 设计影子模式的旁路架构与晋级判据，并算出 A/B 测试所需样本量。
2. 说出三层监控指标集各自的代表指标与采集来源。
3. 设计一页式面板与三级告警阈值表，并运行告警判定逻辑。
4. 套用 runbook 模板写出自己系统的回退预案。
5. 解释"可回退性"的三个前提（版本化、金丝雀、配置开关）与演练的意义。
6. 用 MTTD / MTTR 两个数度量自己团队的应急反应速度。

核心概念速览

（文字流程图）
B ──▶ "8.1 A/B 测试·小流量 · 单变量 · 样本量与停止规则"
"8.1 A/B 测试·小流量 · 单变量 · 样本量与停止规则" ──▶ "全量上线"
"全量上线" ──▶ "8.2 监控面板·技术 / 语义 / 漂移 三层指标 + 三级告警"
"8.2 监控面板·技术 / 语义 / 漂移 三层指标 + 三级告警" ──告警触发──▶ "8.3 回退与应急·软回退 / 硬回退 / 熔断 + runbook"
​

一句话金句：监控不是报表，是"发现—决策—回退"的反应链——每个告警都必须连着一页 runbook。

子章节导航

8.1 影子模式与AB测试

影子模式工程（旁路、成本账、裁判对照、晋级判据）；A/B 统计纪律（样本量脚本、显著性、周期与停止规则）；在线指标集；离线→影子→A/B→全量的晋级流水线。

8.2 监控面板与告警设计

三层指标集与采集来源；一页式面板布局；"正常/观察/告警"阈值表与分级响应；告警判定脚本与防告警疲劳纪律。

8.3 回退与应急预案

软回退 / 硬回退 / 熔断三级手段；runbook 模板逐段讲解；可回退性的三个前提；季度演练与复盘回写。

子章节之间的逻辑关系

8.1 影子模式与 A/B（怎么安全地换版本）
      │  换上去之后，要有一双眼睛盯着 ↓
8.2 监控面板与告警（怎么第一时间发现坏了）
      │  发现之后，要有一只手能拉闸 ↓
8.3 回退与应急预案（坏了怎么办：runbook + 演练）
      │
      ▼
闭环：回退后的复盘回写 → badcase 入库（3.1）→ 回归集生长
   → 第 9 章：把整套体系装进仓库与 CI，变成团队资产
​

前置知识与后续延伸

前置知识：第 7.2 节（代价化阈值——影子晋级判据与告警阈值的生产参数来源）；第 7.3 节（PSI 矩阵——8.2 漂移层的数据源）；第 6.2 节（Langfuse trace——三层指标的采集底座）；第 5 章（裁判——影子对照与线上抽检的打分器）。《Jev 决策编程》8.2 节为影子模式的思想母体。

为后续奠定基础：8.1 的晋级流水线是第 9.2 节 CI 门禁之后的"线上门禁"；8.2 的阈值表与 8.3 的 runbook 将作为配置与文档一起进仓库（第 9.1 节）；8.3 的复盘回写流程是第 3.1 节回归集生长机制在生产侧的入口。