第1章-基础与挑战

第 1 章 · 基础与挑战

导读：在动手画任何架构图之前，我们先统一「百万级 QPS 的 AI 对话」到底难在哪。本章澄清几个被严重误读的概念，并建立后续章节都会复用的核心指标与思维模型。读完你应能回答：为什么普通 Web 架构直接套用到 AI 对话会崩？哪些指标才是真正该盯的？

1.1 什么是「百万级 QPS 的 AI 对话引擎」

百万级 QPS 指系统峰值能稳定处理每秒百万级别的用户请求。但 AI 对话与传统 API 有本质差异：

• 请求不是短平快：一次对话可能持续数秒到数十秒的流式输出，连接长时间占用。
• 计算极重：每个请求背后是一次大模型推理，GPU 成本高、延迟敏感。
• 状态性强：需要维护会话上下文、用户画像、历史消息。

这决定了它不能照搬「无状态 + 水平扩容」的常规 Web 套路。我们将在后续章节围绕「连接、计算、状态」三条主线展开。

1.2 核心指标：别只盯 QPS

除 QPS 外，AI 对话更该关注：

• 首字延迟（TTFT）：用户等多久看到第一个字，体验分水岭。
• 吞吐与并发比：流式长连接下，并发 ≠ QPS。
• 成本效率：每千次对话的 GPU 开销。
• 可用性 SLO：降级策略下的可服务比例。

本章建立的基础指标，是第 2–5 章所有方案优劣的评判标尺。

1.3 本章与小节导航

• 1.1 概念与边界
• 1.2 核心指标与 SLO
• 1.3（后续完善）常见架构反模式

小结：百万级 AI 对话的难度集中在「长连接 + 重计算 + 强状态」。下一篇 1.1 起将逐节拆解。