LLM 可观测与成本治理 · 第 5 章 告警与故障诊断

LLM 可观测与成本治理 · 第 5 章 告警与故障诊断

章节摘要：三支柱把信号采齐了，本章解决"信号变行动"：告警响了之后的三分钟，决定一次故障是止损在萌芽还是烧到客诉。第 5.1 节立 LLM 应用的故障分类——超时与慢、降级与不可用、坏答案、成本爆炸四类，每类给出特征表：三支柱里哪个信号先亮、常见根因清单、第一止损动作，以及按上游供应商/检索/编排/工具四层判定责任的口径。第 5.2 节给排障树：一棵从告警类型出发的决策树，四条路径（慢、错、坏、贵）各自展开到"先看哪个视图、问哪个问题、下一步分支"，并附一则完整排障案例复盘——从提醒线告警到根因确认 25 分钟的时间线、无责复盘五问与行动项。告警设计的三线模型与防疲劳原则已在第 3.3 节立好，本章是它们的消费端。

学习目标

• 用四类故障给任意一次告警快速归类，并说出每类的第一止损动作
• 按"哪个信号先亮"交叉确认故障类别，而不是单看一条曲线下结论
• 掌握责任层判定：上游供应商、检索侧、编排侧、工具侧的区分口径
• 沿排障决策树从告警走到根因，每步知道先看什么、下一步分支在哪
• 会写无责复盘：时间线、五问、行动项三件套

核心概念速览

                    告警（第 3.3 节三线 / 第 4.2 节阈值）
                                │
                     ┌──────── 归类（5.1）────────┐
                     ▼                           │
      ┌──────────┬──────────┬──────────┬─────────┴─┐
      │ 超时/慢   │ 降级/不可用│  坏答案   │ 成本爆炸   │
      │ 延迟类信号 │ 错误类信号 │ 质量类信号 │ 预算类信号 │
      └────┬─────┴────┬─────┴────┬─────┴─────┬─────┘
           └──────────┴────┬─────┴───────────┘
                           ▼
                排障树（5.2）：先看什么 → 问什么 → 分支
                           │
              ┌────────────┼────────────┐
              ▼            ▼            ▼
          定位根因      执行止损      无责复盘
        （trace 下钻）  （熔断/回滚） （时间线+五问+行动项）
​

一句话金句：告警的价值不是"通知你出了事"，而是把人带到正确的排查入口——归类错一次，排查就绕一小时的远路。

子章节导航

5.1 LLM 应用的故障分类

四类故障（超时/慢、降级/不可用、坏答案、成本爆炸）的特征表：先亮的信号、常见根因、第一止损动作；上游/检索/编排/工具的责任层判定；与前半各章信号口径的接线。

5.2 排障树：从告警到根因

一棵可执行的排障决策树（ASCII）；慢、错、坏、贵四条路径逐条展开；一则完整案例复盘——成本提醒线告警到根因确认的 25 分钟时间线，与无责复盘五问模板。

子章节之间的逻辑关系

┌────────────────────────┐   告警进来先归类    ┌────────────────────────┐
│ 5.1 故障分类            │ ────────────────▶ │ 5.2 排障树              │
│ 四类特征表 + 责任层判定  │                    │ 分类选定入口路径         │
└───────────┬────────────┘                    │ 下钻到根因与止损         │
            │                                 └───────────┬────────────┘
            │ 分类依据来自前半的信号口径                       │ 止损后的复盘产出
            ▼                                              ▼
  第 3 章三线告警/三本账、第 4 章四信号               行动项回写：预算线（3.3）、
  （分类表是信号的消费索引）                          灰度机制、第 7 章治理节奏
​

前置知识与后续延伸

• 前置：第 3.3 节的三线告警与防疲劳（本章告警入口的来源）；第 3.1 节成本突增三来源与第 4.2 节漂移四信号（分类表的特征列直接引用它们）；第 2.1 节 span 分层（排障下钻的地图）。
• 后续：第 6.1 节把本章用到的视图（span 树、账本、探针、告警）装进一个可运行脚本；第 7.2 节把"故障时的容量压力"纳入限速与容量规划。
• 延伸阅读：告警设计与无责复盘的原始方法论见 Google SRE Book（社区公认）；智能体场景下故障的传播与放大见《Harness 工程：从零打造智能体运行环境》第 9 章。