你有没有发现,市面上讲"高并发"的文章一大把,讲"大模型应用"的也不少,但把二者真正揉在一起、专讲"百万级 QPS 的 AI 对话引擎后端怎么搭"的体系化教程,几乎找不到? 这本教程就是来填这个空位的。它不从"某某框架多快"的碎片化技巧入手,而是从工程第一性原理出发,带你把一座百万级对话引擎从地基盖到封顶。我们坚持把每一个架构决策,都还原成"它在哪个口径上解决了什么问题"——因为绝大多数生产事故,根子都出在口径混乱和分层错位,而不是技术选型不够新。 教程以"流量画像 → 分层地图 → 关口防线"为主线,分五章递进展开: 第一章 基础与挑战——先校准 QPS 口径(连接层/业务层/推理层根本不是一回事),建立五层逻辑架构全景,并点透百万长连接这道第一关口为什么会让传统 Web 架构失灵。 第二章 接入与限流层——深入长连接网关的技术选型、会话状态外置、以及"限并发资源而非限次数"的多维限流哲学,教你用资源池隔离避免一个大客户拖垮全局。 第三章 上下文与缓存——这是整套架构的降本杠杆。我们讲透对话历史压缩、KV Cache 管理,以及语义缓存如何把推理集群压力砍掉一两成,缓存命中率每升 10 个百分点就省 10% 算力。 第四章 模型路由与编排——多模型路由决策、小模型分流降本、Agent 类重请求的独立资源池隔离,以及把多路子调用聚合成一个流式响应的编排艺术。