第 8 章 · 可观测性、弹性扩缩容与大流量稳定性保障

第 8 章 · 可观测性、弹性扩缩容与大流量稳定性保障

模型上线只是开始，稳定才是关键。一个 LLM 服务上线后，要面对流量突增、模型漂移、GPU 故障、超时雪崩等真实生产挑战。本章讲清 AI 系统的可观测性、弹性扩缩容、限流降级，并用综合案例把全书四层架构串联成端到端平台。

章节摘要

前 7 章建立了云原生 AI 的「调度底座、生产流水线、高效交付」三层。本章进入最后一层——「稳定运行层」，回答「上线后怎么稳定运行」。

本章首先讲 AI 系统的可观测性——传统的 Prometheus + Grafana 之外，AI 负载还需要 DCGM Exporter（GPU 指标）、TTFT/TPOT（LLM 专属延迟指标）、请求队列深度等。然后讲自动扩缩容——HPA、VPA 的局限，KEDA 的自定义指标与事件驱动扩缩容如何应对 AI 负载，以及 GPU 弹性的冷启动挑战。接着讲大流量冲击下的稳定性保障——令牌桶限流、请求排队、推理降级（小模型路由）、熔断与过载保护、混沌工程压测。最后用综合案例把全书四层架构串联成一个端到端的云原生 AI 平台，并展望 Serverless GPU、绿色 AI、FinOps 等未来趋势。

读完本章，你将掌握把 AI 服务从「上线」带到「稳定生产」的全部工程能力，并拥有把全书知识串联成完整平台的全景视角。

学习目标

读完本章，你应当能够：

1. 设计 AI 负载的关键监控指标体系，包括系统指标（CPU/GPU/网络）与业务指标（TTFT/TPOT/吞吐/漂移）。
2. 辨析 HPA、VPA、KEDA 的扩缩容机制，用 KEDA 实现基于队列长度/GPU 利用率的推理服务自动扩缩。
3. 设计限流（令牌桶/漏桶）、降级（小模型路由）、过载保护（熔断/排队）策略，应对大流量冲击。
4. 把全书四层架构（调度→流水线→推理→可观测）串联成完整的云原生 AI 平台，并展望未来趋势。

子章节安排与导引

四个子章节构成「监控 → 扩缩 → 保护 → 综合」的递进：先讲监控（01），再讲扩缩（02），然后讲保护（03），最后用综合案例把全书串联（04）。读完这四节，你将拥有从监控到保护到平台的全栈稳定性能力。

配图说明

• Mermaid「AI 系统可观测性指标分层」：在第 01 节给出，按系统/模型/业务三层组织指标。
• SVG「KEDA 自定义指标扩缩容回路」：在第 02 节给出，展示 KEDA 如何从外部指标驱动扩缩。
• Mermaid「端到端云原生 AI 平台四层架构（综合案例）」：在第 04 节给出，全书最综合的架构图。
• 表格「LLM 推理关键 SLO 指标」：在第 01 节给出。

SEO 关键词

AI 可观测性、Prometheus、Grafana、DCGM Exporter、TTFT、TPOT、首 Token 延迟、每 Token 延迟、请求队列、RED 方法、USE 方法、HPA、VPA、KEDA、ScaledObject、自动扩缩容、GPU 弹性、scale-to-zero、冷启动、令牌桶、漏桶、限流、降级、熔断、过载保护、Circuit Breaker、混沌工程、Serverless GPU、绿色 AI、FinOps、云原生 AI 平台。

章节关联

• 前置：本章是全书四层架构的最后一层（稳定运行）。前 7 章的所有产物（调度、流水线、推理）都是本章监控、扩缩、保护的对象。本章会把它们全部串联。
• 后续：本章是全书的收束。8.4 节的综合案例会回顾全书四层架构，并展望未来趋势（Serverless GPU、绿色 AI、FinOps），完成全书的闭环。