附录 B · 工具与指标速查
附录 B · 工具与指标速查
用途：把散在全书的核心指标、阈值与工具格局压成三张速查表。数字凡标（示意）者不可直接用于生产决策；工具信息截至 2026-10，以各官方文档当期版本为准。
一、三支柱核心指标速查
| 指标 | 口径 / 定义 | 支柱 | 告警方向 | 详见 |
|---|---|---|---|---|
| 调用量 / 跨度 | 每秒请求数与 span 数 | Trace | 突增突降 | 2.1 |
| P50 / P95 / P99 | 总耗时分位数；别只看均值 | Trace | 变慢 | 4.2 |
| TTFT | 首 token 时间 | Trace | 变慢 | 2.1 |
| 错误率 | 失败含超时占比，按状态码分口径 | Trace | 上升 | 5.1 |
| 三本账 token | 输入 / 输出 / 缓存读写分记，只认 usage 字段 | 成本 | 结构突变 | 3.1 |
| 单次调用成本 | 三本账 × 单价，P50/P95 | 成本 | 上升 | 3.1 |
| 缓存命中率 | 写入后实际读到的比例 | 成本 | 跌破基线 | 3.1 |
| 每成功会话成本 | 总成本 ÷ 成功会话数 | 成本 | 恶化 | 3.2 |
| 每活跃用户成本 | 总成本 ÷ 活跃用户数 | 成本 | 趋势 | 3.2 |
| 未打标率 | 缺分摊键的账本行占比 | 成本 | >1% 查打标 | 3.2 |
| 对账差异 | 内部账 vs 供应商账单 | 成本 | 超 ±5%（社区） | 3.2 |
| 探针合格率 | 抽样裁判得分 ≥ 阈值的比例 | 质量 | 下跌 | 4.1 |
| 点踩率 | 点踩 / 有反馈会话 | 质量 | 上升 | 4.1 |
| 拒绝率 | 拒答 + 拦截，分口径 | 质量 | 上升 | 4.2 |
| 输出长度 | 均值 + 超短/超长尾部占比 | 质量 | 双向突变 | 4.2 |
| 新主题份额 | 未覆盖意图的请求占比 | 质量 | 上升 | 4.2 |
| 会话 token TopN | 最烧钱的会话清单 | 成本/质量 | 单会话异常 | 3.3 |
二、阈值与处置速查
预算三线（第 3.3 节，参数示意）
| 线 | 触发条件（示意） | 动作 | 通知 |
|---|---|---|---|
| 提醒线 | 日消耗速率 ≥ 日预算 1.5 倍 | 人查 TopN | 值班群 |
| 暂停线 | 速率 ≥ 3 倍，或单会话超上限 | 自动降级 / 熔断 | 值班 + 负责人 |
| 升级线 | 月预算剩余 <10% | 决策：加钱还是降规格 | 团队负责人 |
漂移三层阈值（第 4.2 节，参数示意）：静态阈值守合规底线；基线带 = 过去 7~14 天同时段 ±30%；日环比 ±40% 抓突变；新信号先影子运行两周再接告警。
四类故障三件套（第 5.1 节）
| 类 | 先亮的信号 | 第一止损 | 止损风格 |
|---|---|---|---|
| 超时与慢 | P95/TTFT 越带 | 降 max_tokens/篇数、切轻量模型 | 求快 |
| 降级与不可用 | 错误率、429/5xx | 切备用、排队、回放缓存答案 | 求稳 |
| 坏答案 | 裁判分、点踩率、四信号 | 回滚最近变更（版本对齐） | 求准 |
| 成本爆炸 | 三线、TopN、三本账 | 会话熔断、限速、功能降级 | 求狠 |
容量算式链（第 7.2 节）：平均 QPS = 日调用 ÷ 有效时长秒数 → 峰值 QPS = 平均 × 峰值系数（2~4，示意）→ 峰值 TPM = 峰值 QPS × 60 × 单次 token → 稳态并发 = 峰值 QPS × 平均时延（利特尔法则）。
三、工具速查（口径 2026-10，以官方文档为准）
| 工具 | 一句话 | 部署 | 强项 | 注意 |
|---|---|---|---|---|
| Langfuse | LLM 工程平台 | 核心开源、可自托管 | traces + evals + prompt 管理一体化 | 自托管有运维成本 |
| OpenLLMetry | OTel 系自动插桩 SDK | 是库不是平台 | 埋点省事、后端自由 | 报表能力取决于后端 |
| Arize Phoenix | 观测 + 评测平台 | 开源、可自托管 | evals 与实验、notebook 调试 | 生态较偏算法侧 |
| LangSmith | 商业 SaaS | SaaS 为主，自托管限企业级 | LangChain 生态深度集成 | 绑定较深 |
标准层现状：OTel GenAI 语义约定（gen_ai.*）截至 2026-10 仍为实验态（官方），期间发生过属性改名破坏兼容（社区）——埋点记得加属性隔离层（第 6.2 节）。选型用六问判定：数据主权、插桩侵入度、评测深度、生态绑定、拥有成本、团队技能；工具不等于能力，验收回到第 1.2 节 21 问。
数据策略三问（拿去问任何候选工具，第 2.3 节）：能否按数据域分别配采样？脱敏在采集端还是服务端？留存能否按域自动过期？
评论区
(0)
U