文档摘要

8.3 大流量稳定性：限流、降级与过载保护 推理服务扩容要分钟级，但流量暴增可能秒级——营销活动、产品爆红、突发事件都可能在几分钟内把流量推到平时的几十倍。如果没有限流降级，超载会让所有用户体验崩塌，引发雪崩。这一节讲清「扛不住时怎么保命」。 8.3.1 大流量冲击的本质 LLM 推理服务面对的大流量冲击有几类： 业务活动：营销推送、产品发布、限时免费。 产品爆红：社交媒体传播导致用户激增。 上游故障转移：另一个集群挂了，流量涌到本集群。 依赖故障：模型加载失败、缓存击穿、网络抖动导致请求堆积。 慢请求累积：长上下文请求耗时长，积压成洪峰。 冲击的核心问题是「容量跟不上流量」——扩容要分钟级，冲击是秒级，必然有「容量缺口」。这个缺口期间，必须靠「限流降级」保护系统不崩溃。

---