LLM 可观测与成本治理 · 第 7 章 成本治理实战

LLM 可观测与成本治理 · 第 7 章 成本治理实战

章节摘要：观测体系建成之后，成本治理才有可能从"月底看账单叹气"变成"每周带着数字做决策"。本章两节把治理落到实处。第 7.1 节立优化闭环：账本 → 归因 → 动作 → 验证 → 固化，以周为节奏转动；三大杠杆是缓存（前缀稳定化把命中率做上去）、路由与模型分级（简单请求走小模型）、输出治理（max_tokens 与模板化）；每个动作都带质量护栏——点踩率与探针合格率不恶化才保留。闭环案例给出前后数字：月成本 4,800 美元降到 2,850 美元（示意案例），质量指标持平略升。第 7.2 节做容量与限速规划：从日调用量推峰值 token/分钟与稳态并发（利特尔法则），对照供应商限额与自身预算双向设上限，用三层令牌桶（全局/功能/用户）把突发挡在门外，配优先级排队与降级链，并把限速当作可演练验收的能力。本章收束全书：治理不是项目，是节奏。

学习目标

• 说出优化闭环五步与周节奏，理解"没有验证的优化只是折腾"
• 运用三大成本杠杆：缓存、路由与模型分级、输出治理，并给每步配质量护栏
• 会读一个带前后数字的闭环案例，判断哪个杠杆贡献了主要节省
• 把优化跑成节奏：周例会、月复盘、季复评（21 问重答）
• 从日调用量推算峰值 token/分钟与稳态并发，对照供应商限额找差距
• 设计三层限速（全局/功能/用户）与 429 降级链，并演练验收

核心概念速览

           成本治理 = 优化闭环（省钱） + 容量限速（防翻车）

 ┌─ 优化闭环（7.1，周节奏）─────────────────────────────┐
 │ 账本(3.1/3.2) ─▶ 归因 ─▶ 动作 ─▶ 验证 ─▶ 固化        │
 │                            │        │                │
 │                  三大杠杆：缓存│路由分级│输出治理       │
 │                            ▼        ▼                │
 │                    质量护栏：点踩率+探针合格率不恶化    │
 └──────────────────────────────────────────────────────┘
 ┌─ 容量与限速（7.2，事前规划）─────────────────────────┐
 │ 日调用量 ─▶ 峰值 QPS ─▶ 峰值 token/分 ─▶ 并发         │
 │      双向设限：供应商限额（TPM/RPM）｜自身预算（3.3）  │
 │      三层令牌桶：全局 → 功能 → 用户；429 降级链        │
 └──────────────────────────────────────────────────────┘
​

一句话金句：优化闭环省的是钱，容量限速保的是命——前者要有质量护栏，后者要有演练验收。

子章节导航

7.1 优化闭环：缓存、路由与模型分级

闭环五步与周节奏；三大杠杆的做法、见效量级与陷阱；一个带前后数字的完整案例（月成本降四成、质量不降）；质量护栏与回滚纪律。

7.2 容量与限速规划

从日调用量推峰值 token/分钟与并发（利特尔法则）；供应商限额与自身预算双向设上限；三层令牌桶限速器代码与 429 降级链；把限速当能力来演练与验收。

子章节之间的逻辑关系

┌──────────────────────┐  闭环暴露容量瓶颈与预算压力  ┌──────────────────────┐
│ 7.1 优化闭环          │ ────────────────────────▶ │ 7.2 容量与限速规划    │
│ 把单次/单会话成本压低 │                           │ 把峰值与突发挡在门外  │
└──────────┬───────────┘ ◀──────────────────────── └──────────┬───────────┘
           │    限速与降级数据回流账本（429、降级量本身是信号） │
           ▼                                                ▼
     账本与探针（3/4 章）验证两节的一切动作        第 1.2 节 21 问复评：
                                                治理机制的验收回到同一张清单
​

前置知识与后续延伸

• 前置：第 3 章全部（账本、分摊、三线是闭环的数据底座）；第 4.1 节的探针合格率与点踩率（质量护栏的尺子）；第 6 章的落地系统（闭环与限速跑在它上面）。
• 后续：本章是全书收束。治理机制是否"管得住"，最终用第 1.2 节的 21 问做季度复评——L1/L2/L3 三层的答案应该随着闭环与限速的运转逐季变好；附录 C 的练习给出现成的自评与演算题。
• 延伸阅读：缓存与路由的工程纵深（命中率优化、语义缓存、路由器设计）见本站《请求缓存与智能路由降低 token 成本》文集；推理侧吞吐与排队论见本站《大模型 LLM 推理和部署理论与实践》文集；限速与降级的服务化做法见《Harness 工程：从零打造智能体运行环境》第 9 章。