11.2 监控与错误分类：五类错误与告警分级

11.2 监控与错误分类：五类错误与告警分级

本节摘要：本节把第 8.3 节的审计事件流变成值班可用的仪表盘。先立错误 taxonomy：五类——网络（超时、连接重置、DNS）、选择器（定位失败、漂移）、权限（401/403、会话过期、授权变更）、业务逻辑（校验拦截、状态不符、流程断言失败）、模型误判（断言复核推翻、动作选错目标）——每类给信号、首诊处置与告警级别；分类的意义在于处置路由：五类的修复责任人在不同团队（网络找运维、选择器找自动化维护者、权限找账号管理、业务找产品、模型误判找提示词与模型配置）。然后是告警三级：红色（立刻有人响应：成功率骤降、熔断触发）、黄色（当日处理：单类错误占比异常、感知断言待复核队列堆积）、蓝色（周度回顾：成本异动、固化覆盖率停滞）。指标体系四件套上车：任务成功率、平均步数、token 成本（第 10.2 节台账）、固化覆盖率（第 3.3 节体征指标）。末尾给错误自动归因的规则分类器（双语）与看板版式示意。

学习目标

• 背出五类错误 taxonomy 及每类的信号与首诊处置。
• 解释「分类的意义在处置路由」——五类错误对应五个责任团队。
• 设计三级告警（红黄蓝）的条件与响应预期。
• 说出看板四指标的口径与各自的数据来源。
• 实现错误自动归因的规则分类器（双语）。

一、五类错误 taxonomy

分类口径与第 6.2 节的失败分类学同源（那张表管「单次失败的即时反应」，这张表管「群体错误的运营归档」）。两条铁律：每个错误必须归入且只归入一类（未分类也是一类，但要持续收敛）；分类字段在事件里是必填的——第 8.3 节事件结构补一个 error_class 字段，监控的聚合才有的放矢。

二、告警三级与响应预期

分级的纪律：红色必须少而准——红色泛滥的告警系统等于没有告警（第 11.1 节信号腐蚀的监控版）；黄色的价值在「当日可见的趋势」，蓝色在看板而非消息推送里。第 9.2 节的感知断言归黄色（误判率决定了它不配拉红），纯代码断言与熔断归红色。

三、看板四指标

四个指标是一套「体检」而非孤立的数字：平均步数涨而成功率稳，多半是指令变啰嗦；成功率稳而成本涨，查救援深度；覆盖率停滞，回到第 9.1 节决策表看看候选池是不是空了。看板版式示意：

 ┌───────────── 浏览器智能体运维看板（示意） ─────────────┐
 │ 任务成功率  97.2%（红门 80%）   │ 固化覆盖率  71%（周 +2） │
 │ 平均步数    8.4（周 -0.3）      │ token/任务  4.1万（持平） │
 ├──────────────────────────────┴────────────────────────┤
 │ 错误分布（24h）：网络 41%  选择器 33%  权限 12%          │
 │                  业务 8%  模型误判 4%  未分类 2%          │
 │ 告警：黄 2（复核队列堆积 / 选择器占比超基线）  红 0       │
 └───────────────────────────────────────────────────────┘
​

四、错误自动归因：规则分类器

第一道归因用规则做（便宜、可解释），分不了的进人工归因队列：

# error_taxonomy.py —— 五类错误的规则分类器（写法示意）
TAXONOMY = [
    ("网络", ("timeout", "net::", "reset", "dns", "econnrefused")),
    ("选择器", ("strict mode violation", "no element", "locator", "waiting for")),
    ("权限", ("401", "403", "unauthorized", "forbidden", "登录已过期")),
    ("业务逻辑", ("校验", "状态不符", "流程断言", "业务规则")),
    ("模型误判", ("ai_assert", "复核推翻", "意图偏差", "目标错误")),
]


def classify(message: str) -> str:
    text = message.lower()
    for label, keys in TAXONOMY:
        if any(k in text for k in keys):
            return label
    return "未分类"


for sample in ("waiting for selector timed out", "401 unauthorized", "复核推翻：断言语义误判"):
    print(sample, "->", classify(sample))
​

// error_taxonomy.mjs —— 五类错误的规则分类器（写法示意）
const TAXONOMY = [
  ["网络", ["timeout", "net::", "reset", "dns", "econnrefused"]],
  ["选择器", ["strict mode violation", "no element", "locator", "waiting for"]],
  ["权限", ["401", "403", "unauthorized", "forbidden", "登录已过期"]],
  ["业务逻辑", ["校验", "状态不符", "流程断言", "业务规则"]],
  ["模型误判", ["ai_assert", "复核推翻", "意图偏差", "目标错误"]],
];

/** 规则归因 @param {string} message 错误文本 @returns {string} 错误类别 */
function classify(message) {
  const text = message.toLowerCase();
  for (const [label, keys] of TAXONOMY) {
    if (keys.some((k) => text.includes(k))) {
      return label;
    }
  }
  return "未分类";
}

for (const sample of ["waiting for selector timed out", "401 unauthorized", "复核推翻：断言语义误判"]) {
  console.log(sample, "->", classify(sample));
}
​

规则表要与第 6.2 节分类器、第 11.1 节归因表共享词条来源（同一份配置），三处口径漂移会让指标互相打架。规则归因的准确率本身也是指标：未分类占比应随运营收敛到个位数百分比。

五、常见坑

本节要点回顾

• 五类 taxonomy：网络、选择器、权限、业务逻辑、模型误判；每类有信号、首诊处置与责任归属——分类即处置路由。
• 告警三级：红（立刻）、黄（当日）、蓝（周度）；红色必须少而准，感知断言归黄。
• 看板四指标：成功率、平均步数、token 成本、固化覆盖率；成套交叉解读，各自有数据来源。
• 规则分类器双语落地；规则表单一来源，供 6.2、11.1、11.2 三处共用；未分类占比持续收敛。

系统稳定、可观测，最后一关是「上新」：换模型、发新流程、扩新任务之前该确认什么？下一节给出发布前的最后一道闸——上线清单五大块、灰度节奏、回滚与 SOP，并以一张合拢图收束全书。