LLM 可观测与成本治理 · 第 4 章 质量在线观测

LLM 可观测与成本治理 · 第 4 章 质量在线观测

章节摘要：质量支柱回答"好不好"，而它最深的坑是：你没有任何可以直接告警的"错误码"。第 4.1 节立在线评测探针——离线评测集管"上线前"，探针管"上线后"：按分层抽样抽出小样本，用一份精简裁判 rubric（相关性、事实性、完整性、格式安全四维三档）打分并把评分回写到 trace 上；同节收编用户反馈信号——显式的点赞点踩与隐式的复述提问、中途放弃、人工接管，点踩样本必须全采。第 4.2 节建漂移信号面板：裁判分是滞后指标（要等抽样与排程），延迟分布、拒绝率、输出长度突变、主题漂移四个代理信号常在质量劣化之前先露马脚，配"静态阈值 + 基线带 + 日环比"三层阈值法。读完本章，能力清单第 6、18 问应能转"能"。

学习目标

• 说清离线评测与在线探针的分工：上线前把门、上线后放哨
• 设计分层抽样策略，并让抽样率随数据记录（第 2.3 节铁律的落地）
• 写出四维三档的裁判 rubric 精简版，并知道裁判本身也要被抽检
• 区分显式与隐式用户反馈信号，把点踩样本接入全采通道
• 掌握漂移四信号的定义、算法与阈值方向
• 用三层阈值法（静态/基线带/日环比）给信号设线，并与第 3.3 节三线模型对齐

核心概念速览

                 质量在线观测（三个信号源，一条回写通道）
                              │
      ┌───────────────────────┼───────────────────────┐
      ▼                       ▼                       ▼
 ┌─────────────┐       ┌─────────────┐       ┌─────────────┐
 │ 在线评测探针 │       │ 用户反馈     │       │ 漂移代理信号 │
 │ 抽样+裁判    │       │ 显式+隐式    │       │ 不看内容看形状│
 │ （滞后，准）  │       │ （真实，稀疏）│      │ （先行，粗）  │
 └──────┬──────┘       └──────┬──────┘       └──────┬──────┘
        └───────────────┬─────┴───────────────┬──────┘
                        ▼                     ▼
              评分/反馈回写 trace（带 trace_id）   漂移面板 + 告警线
                        │                     │
                        └───────┬─────────────┘
                                ▼
                    第 5 章：告警 → 故障分类 → 排障树

三层阈值法（4.2）：
  静态阈值（合规底线）＋ 基线带（7 天同时段 ±带宽）＋ 日环比（抓突变）
​

一句话金句：质量没有错误码——裁判告诉你"确实坏了"，漂移信号告诉你"正在变坏"，用户反馈告诉你"用户已经知道了"。

子章节导航

4.1 在线评测探针：抽样裁判与用户反馈

离线评测为什么管不住线上；分层抽样怎么抽（错误全采、点踩强制入库）；裁判 rubric 精简版与规则裁判代码；用户反馈的显式与隐式信号清单，以及评分如何回写 trace。

4.2 漂移信号面板

延迟分布、拒绝率、输出长度突变、主题漂移四个代理信号的定义与算法；三层阈值法（静态阈值、基线带、日环比）；信号组合的解读表与一张面板布局。

子章节之间的逻辑关系

┌──────────────────────────┐  提供"确实坏了"的确认  ┌──────────────────────────┐
│ 4.1 抽样裁判与用户反馈     │ ────────────────────▶ │ 4.2 漂移信号面板          │
│ 直接信号：看内容打分        │                       │ 代理信号：不看内容看形状    │
│ 滞后、准、样本小           │ ◀──────────────────── │ 先行、粗、全覆盖           │
└──────────┬───────────────┘   面板报警后抽同类样本复核 └──────────┬───────────────┘
           │                                                     │
           └────────── 两者都回写 trace_id（第 2.2 节）─────────────┘
                                    │
                                    ▼
                     第 5 章：信号变成告警，告警变成排障入口
​

前置知识与后续延伸

• 前置：第 2.2 节的 trace_id 贯穿（评分与反馈必须能回到现场）；第 2.3 节的采样三原则（元数据全量、正文抽样、错误全采——本章抽样策略直接继承）；第 1.2 节清单的第 6、18 问。
• 后续：第 5 章把本章信号接入故障分类与排障树；第 6.1 节把探针装进最小可观测套件总装脚本。
• 延伸阅读：评测集设计、裁判校准、离线评测方法论的完整纵深见《Evals 实战：LLM 评测工程》（其第 8 章为线上评测与监控单章，与本书本章互为表里）；本书只讲"在线、持续、与三支柱咬合"的部分。