vLLM

教程导读：跟着一条追因线搞懂 vLLM

别以为大模型推理又慢又贵是因为显卡算力不够——多数情况下，GPU 的计算单元在很大比例的时间里是闲着的，它在等显存把数据喂过来，等调度器把请求凑齐，等那些本可以复用的计算被一遍遍地重算。vLLM 的全部设计，几乎都是围绕"别让 GPU 空转"这件事展开的。本册不打算按功能清单罗列 vLLM 有什么，而是顺着一条追因线走：先看清问题出在哪一步，再看每一步是怎么被解掉的。

这册要回答的一个总问题

同样一张显卡，为什么有的部署方案每秒只能吐出几十个 token，换成 vLLM 之后吞吐能翻数倍、极限场景甚至到二十倍以上？

这个问题拆开来，是一条环环相扣的问题链：

1. 自回归生成每出一个字，都要带着之前所有上下文的注意力状态走一遍——KV Cache 就是这样被撑大的，显存账到底怎么算？
2. 显存按"最长可能长度"预留、内部碎片与外部碎片并存，利用率为什么长期只有两三成？
3. 把 KV Cache 切成固定大小的块、用块表管理，PagedAttention 是怎么把利用率抬到九成附近的？
4. 请求凑批的粒度从"一轮"细到"一步"，连续批处理省掉的到底是什么时间？
5. 相同前缀反复计算、逐 token 串行解码这两个浪费，前缀缓存与投机解码分别怎么省？
6. 模型大到单卡装不下、精度高到显存放不下，张量并行、流水线并行与 AWQ/GPTQ/FP8 量化各自砍掉哪部分成本？
7. 代码跑通了，怎么变成一个对齐 OpenAI 接口、能扛生产流量的服务？gpu_memory_utilization、max-model-len 这些参数该怎么给？
8. 上线之后，用什么压测口径说话、看哪些指标、按什么顺序调优？

把这条链走完，你对 vLLM 的理解就不再是"一个快的推理框架"，而是一套关于"显存、批处理、调度与精度"的工程方法论。

全册知识地图

下图是整册的学习路线。第 1 章建立问题意识与指标语言，第 2、3、4 章构成主线（显存困境与两个核心解法），第 5、6 章是叠加在主线之上的进阶优化，第 7、8 章落到生产。箭头方向就是依赖方向：不读懂第 2 章的显存账，第 3 章的块表设计就看不出妙处；不理解第 4 章的调度节奏，第 8 章的参数调优就无从下手。

图：vLLM 全册问题链知识地图

图里有两个刻意的设计值得点出来：第 2、3 章之间的箭头最粗——显存账算不清，块表的所有设计动机都是空中楼阁；第 5、6 章并列挂在主线之后——它们互相独立，你完全可以先学量化再学前缀缓存，不影响理解。

怎么读这本册子

如果你是后端工程师，要把 vLLM 接进公司服务：按顺序读第 1、2、3、4、7 章，跳过第 5、6 章不影响部署，但上线前请回到第 8 章把压测与监控做完——没有压测数据的上线等于闭眼发版。

如果你在做成本优化，关心"同一张卡多扛几倍流量"：第 2、3、5、6 章是你的主战场，第 8 章的显存与调度调优是收尾动作。

如果你是算法同学，只想知道为什么线上推理和笔记本上跑的不一样：读第 1 章建立指标语言，再读第 3、4 章看懂调度行为，就能解释绝大多数"为什么线上延迟抖"的疑问。

每章开头有一页"追因笔记"，交代本章要追的问题、沿途站点和落点；每节开头用两三句话交代它承接哪一节、通往哪一节。你随时可以从任何一节切入，再顺着文内指引回到主线。

学习前的准备

本册默认你有这些背景：用过 Transformer 或至少调用过大模型 API，知道 prompt、token、生成式解码是什么；会基本的命令行操作；见过 GPU 显存被占满的报错。不要求读过注意力机制的原始论文，也不要求有 CUDA 编程经验——涉及底层的地方，本册用示意图和算例讲清楚。

版本口径以当前主流的 vLLM 稳定版为准，参数名与默认值可能随版本微调，以你实际安装版本的官方文档为最终依据。所有代码示例都围绕"讲清机制"服务，能直接跑，但生产落地前请按第 8 章的口径重新压测。

准备好了就从第 1 章开始：我们先去问题现场，看看一条卡顿的生成请求到底把钱和时间花在了哪里。