第2章-接入与限流层

文档摘要

第 2 章 · 接入与限流层导读：请求进入系统的第一公里。本章讲清楚如何用分层网关、连接治理和限流算法，把不可控的洪峰变成可控的排队。这是扛住百万 QPS 的物理基础。 2.1 分层网关与连接治理四层 LB 做连接卸载，七层网关做协议转换（WebSocket / SSE）。连接池复用大模型下游连接，避免每次握手开销。背压机制：下游慢时上游主动减速，而非无脑转发。 L4[四层LB]; L4 --> GW[API网关]; GW --> POOL[连接池]; POOL --> M[模型服务];" alt="网关与连接池" width="600"/> 2.2 限流算法选型令牌桶：允许突发，适合对话潮汐流量。漏桶：平滑输出，保护下游模型。滑动窗口：精准限流，配合用户级配额。

第 2 章 · 接入与限流层

导读：请求进入系统的第一公里。本章讲清楚如何用分层网关、连接治理和限流算法，把不可控的洪峰变成可控的排队。这是扛住百万 QPS 的物理基础。

2.1 分层网关与连接治理

四层 LB 做连接卸载，七层网关做协议转换（WebSocket / SSE）。
连接池复用大模型下游连接，避免每次握手开销。
背压机制：下游慢时上游主动减速，而非无脑转发。

2.2 限流算法选型

令牌桶：允许突发，适合对话潮汐流量。
漏桶：平滑输出，保护下游模型。
滑动窗口：精准限流，配合用户级配额。

实践建议：网关层用滑动窗口做全局限流，业务层用令牌桶做用户级突发允许。

2.3 降级与排队

当模型集群过载，优先返回降级答案（缓存/轻量模型），而非直接 5xx。排队策略用「优先级队列」保证付费用户体验。