文档摘要

第 2 章 · 接入与限流层 导读：请求进入系统的「第一公里」。本章讲清楚如何用分层网关、连接治理和限流算法，把不可控的洪峰变成可控的排队。这是扛住百万 QPS 的物理基础——模型再强，接入层崩了，一切归零。 本章导言 很多人对「百万 QPS 的 AI 对话引擎」的想象，是从模型推理集群开始的：多少张卡、什么并行策略、怎么调度。但真实世界里，系统往往不是被「算不过来」压垮的，而是被「连不过来、涌不过来」压垮的。一个对话请求从用户设备到模型之间，要先穿过接入层这张网——它负责把上百万并发的长连接接住、把流式协议终结、把不可控的流量整形为可预测的后端负载。这一层做不好，后面的架构再精妙也无从谈起。

---

作者与出处

原作者： 10b786_架构师的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1089-%E7%99%BE%E4%B8%87%E7%BA%A7qps%E7%9A%84ai%E5%AF%B9%E8%AF%9D%E5%BC%95%E6%93%8E%E5%90%8E%E7%AB%AF%E6%9E%B6%E6%9E%84

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流