LLM 可观测与成本治理 · 第 6 章 落地实操

LLM 可观测与成本治理 · 第 6 章 落地实操

章节摘要：全书立过的零件至今散落各章：tracer 在第 2 章、三本账在第 3 章、探针在第 4 章、告警线在第 3.3 节。本章做总装与选型两件事。第 6.1 节把这些零件接进同一个进程——一个约 170 行、纯标准库、含 MOCK 模式的完整脚本：一次请求走 span 树（检索段、模型段），MOCK 模型返回 usage 记进三本账，抽样裁判顺手打分，预算三线全程盯梢，最后一键报告（span 树、成本日结、质量日结、告警）。跑通它，"三支柱一页图"就从概念变成了你手里跑着的进程。第 6.2 节回答"要不要换成现成工具"：先看标准层（OpenTelemetry GenAI 语义约定，截至 2026-10 仍为实验态），再过 Langfuse、OpenLLMetry、Arize Phoenix、LangSmith 四件工具的对比表（口径 2026-10），最后给一套不排名的判定框架——六问加一棵决策树。自建过的人，才问得出对的问题。

学习目标

• 把 tracer、三本账、探针、告警线总装成一个可运行的纯标准库脚本
• 运行 MOCK 演示并读懂四张输出（span 树、成本日结、质量日结、告警）
• 列出从 MOCK 走向生产的全部替换点（模型调用、落库、定时、路由）
• 说清 OTel GenAI 语义约定的现状（实验态）与应对策略（属性隔离层）
• 用六问判定框架在自建、开源自托管与商业 SaaS 之间做选型

核心概念速览

              mini_obs.py（6.1 总装，约 170 行，纯标准库）
                              │
   ┌──────────┬───────────────┼───────────────┬──────────┐
   ▼          ▼               ▼               ▼          ▼
 Tracer     TokenLedger      Probe         SessionCap  budget_check
 （2.1）    三本账（3.1）    抽样裁判（4.1） 熔断（练习）  三线（3.3）
   └──────────┴───────────────┼───────────────┴──────────┘
                              ▼
            ask() 一次请求 = span 树 → 记账 → 裁判 → 查线
                              │
                              ▼
      从 MOCK 到生产（替换 4 处）──▶ 第 6.2 节：自建 or 换工具？
                              │
              标准层（OTel GenAI，实验态）· 平台层（Langfuse/
              Phoenix/LangSmith）· 采集层（OpenLLMetry）→ 六问判定
​

一句话金句：先造过一遍，再选得对——你评估工具时问出的每一个问题，都来自自己写过那约 170 行。

子章节导航

6.1 自建最小可观测：纯标准库完整脚本

零件的总装接线图；完整脚本（MOCK 模式：假模型返回假 usage，跑通全链路）；运行输出逐段解读；从 MOCK 到生产的四类替换点。

6.2 工具格局与选型

2026-10 口径的工具格局：标准层 OTel GenAI 语义约定（实验态、属性隔离层策略）、四件工具对比表；六问判定框架与决策树——只给判定方法，不排名。

子章节之间的逻辑关系

┌───────────────────────────┐  自建经验变成选型判断力  ┌───────────────────────┐
│ 6.1 自建最小可观测          │ ─────────────────────▶ │ 6.2 工具格局与选型     │
│ 三支柱跑在一个进程里         │                        │ 自建/开源/SaaS 判定    │
│ 暴露自建的真实成本          │ ◀───────────────────── │ 用 21 问与数据策略     │
└─────────────┬─────────────┘  清单与硬指标反过来问工具  └──────────┬────────────┘
              │                                                    │
              └────── 第 2~5 章的全部零件在本章合体 ──────────────────┘
                                                                    ▼
                                                    第 7 章：治理机制与成本实战
​

前置知识与后续延伸

• 前置：第 2 章的 tracer 与 span 属性、第 3 章的账本与三线、第 4.1 节的规则裁判——6.1 的每一行都来自这些小节；跑通第 2、3 章代码再读 6.1 体验最佳。
• 后续：第 7 章把选型之后的系统跑成治理机制（优化闭环与容量限速规划）；附录 B 的速查表可直接用于选型评估清单，附录 C 练习五为总装脚本补上会话熔断。
• 延伸阅读：各工具的部署与配置以官方文档当期版本为准；智能体 harness 视角的观测组件见《Harness 工程：从零打造智能体运行环境》第 9 章；缓存与路由的工程纵深见本站《请求缓存与智能路由降低 token 成本》文集。