第1章 · 实时AI系统设计与延迟优化

第 1 章 · 实时AI系统设计与延迟优化

章节摘要：实时 AI 不是"把模型跑快点"那么简单，它是一整套在延迟、吞吐、成本之间反复拉扯的工程权衡。这一章先拆解一次推理请求的延迟到底花在哪——网络往返、队列等待、prefill 计算、逐 token 解码，每一块的占比决定了你该往哪个方向优化。然后讲流式服务的整体架构怎么搭，负载均衡、限流、连接管理这些"非模型"部分往往是性能黑洞。读完你会对"我的实时 AI 系统慢在哪、为什么慢"有一个可量化的判断。

学习目标

阅读完本章，你应当能够：

1. 把一次推理请求的端到端延迟拆成可度量的几个阶段，并定位瓶颈
2. 解释首字延迟（TTFT）和 token 间延迟（ITL）的差别，以及各自受什么影响
3. 说清延迟和吞吐为什么会打架，以及不同业务场景该往哪边倾斜
4. 对比 WebSocket、SSE、gRPC 三种流式协议的优劣和适用场景
5. 设计一个带负载均衡、限流、背压的生产级流式服务骨架

核心概念速览

实时 AI 性能优化的第一原则：先测量，再优化。不拆解延迟构成就动手调参，等于闭着眼睛修车。

子章节导航

1.1 延迟与吞吐的工程权衡

讲清楚一次推理的延迟花在哪、为什么低延迟和高吞吐天然冲突、不同业务（对话、翻译、批量处理）该把天平倒向哪边。这节是后面所有优化的方法论基础。

1.2 流式服务架构与网络协议选型

从通信协议（WebSocket/SSE/gRPC）到负载均衡、限流、背压，讲流式服务在"模型之外"的那些工程组件怎么搭。很多时候瓶颈不在 GPU，而在你选错了协议或没做连接管理。

子章节之间的逻辑关系

先建立"延迟由什么构成、吞吐和延迟怎么权衡"的量化认知（1.1），这是判断一切优化方向的前提；再落到工程架构，看协议选型和服务组件怎么影响这些延迟分量（1.2）。两节一虚一实：1.1 讲道理，1.2 讲怎么搭。

1.1 延迟构成与权衡  ──►  1.2 协议与架构落地
（为什么慢）            （怎么搭才不慢）
​

前置知识与后续延伸

• 前置知识：了解 HTTP 基本工作方式，知道什么是 API 调用，对大语言模型的"生成"过程有大致概念即可。
• 后续延伸：本章是总论。第 2 章会钻进 LLM 推理引擎内部，看 prefill 和 decode 这两个阶段具体怎么用 KV Cache、连续批处理来优化；第 3、4、5 章分别把这套方法论落到语音、端侧、视频场景。

从演化历史看本章的位置

实时系统设计的这套方法论不是为 AI 发明的，它是几十年分布式系统经验向新硬件的迁移。上世纪八十年代的电信交换机就已经在处理"每路通话有严格延迟上限、交换机容量有限"的矛盾，那时积累的排队论结论——利用率超过七成就要警惕——到今天的 GPU 集群上依然成立。九十年代的高频交易把"地理位置即延迟"变成常识，光在光纤里跑一公里要 5 微秒，于是有了交易所同城机房和微波链路；今天把推理集群部署到离用户更近的地域、用边缘节点承载语音实时交互，用的是同一个物理直觉。

真正的分水岭出现在 2022 到 2023 年。在此之前，"实时 AI"主要指流式数据处理——Kafka 和 Flink 的世界，延迟以百毫秒到秒计，矛盾集中在数据管道。大模型兴起后，延迟矛盾转移到了推理侧：GPU 成本高昂，一个请求的 decode 要独占算力几百毫秒到几秒，"攒批"从可选优化变成了生存必需，TTFT 和 ITL 这对指标也随之被业界明确定义并写进各家云厂商的 SLA。理解这条演化线，能帮你判断哪些旧经验直接可用（排队、限流、负载均衡），哪些需要重学（KV Cache 显存管理、变长序列调度、推测解码的正确性约束）。

读者自查清单

读完本章两节，用下面几个问题检验掌握程度。第一，给你一份延迟埋点报告，你能指出四个阶段各占多少、瓶颈在哪一段吗？第二，"GPU 利用率 40% 但 P99 延迟超标"，你的第一反应应该是加机器还是查调度？第三，如果产品要求支持用户中途打断生成，SSE 还够用吗，为什么？第四，网关层开启 gzip 对流式输出意味着什么？如果某个问题答不上来，回到对应小节重读相关段落——这些问题都是生产事故的高发来源，值得在动手搭服务之前想透。

再补一段本章与后续各章的衔接细节，方便带着框架往下读。第 2 章的 KV Cache 和连续批处理，本质上是在攻击本章定位出的"prefill 与 decode 两段延迟"和"batch 权衡曲线"这两个靶子；第 3 章语音管线的延迟预算表，是本章分位数管理思想在多组件串联场景的展开；第 4 章端侧推理把同样的权衡搬进了功耗和内存约束更苛刻的硬件；第 5 章则把延迟视角从单请求扩展到数据链路。换句话说，如果你只精读一章，就精读本章——后面四章都可以看作它在不同资源约束下的重演。带着这个视角阅读，你会不断看到"同一个矛盾换了舞台"，比孤立记忆每个技术的参数有效得多。

图：实时 AI 延迟工程的演化时间线