第 7 章 生产部署：OpenAI 兼容服务上线

第 7 章 生产部署：OpenAI 兼容服务上线

章节摘要：原理讲完，本章把 vLLM 变成一条可执行的生产链路：从环境安装到第一条命令跑通（7.1），再到 OpenAI 兼容接口的接入方式与核心参数清单（7.2）。读完本章，你能把前面六章的任何配置组合落成一个对外提供服务的端点，并且知道每个关键参数背后是哪章讲过的机制。

一条主线

主线场景走到了终章前的落地段：机制都懂了、参数都算了，现在要把它们组装成一个真实的线上服务。这条线沿途只有两站，却最容易踩坑——因为从"能跑"到"能扛生产"之间的距离，全部藏在参数与接口细节里。

第一站（7.1）解决"从零到第一条 token"：环境怎么装、模型怎么下、第一条启动命令怎么写、怎么用一行命令验证服务活着。这一站的目标是让你在最短时间内看到一个端点在流式吐字——先跑通，再调优。

第二站（7.2）解决"从能跑到能扛"：vLLM 的启动参数有上百个，但决定生产形态的就那十来个——显存水位、上下文上限、并发上限、量化与并行（第 6 章）、缓存开关（第 5 章）。这一站给出参数清单与默认值的道理，并把每个参数映射回对应的章节机制：调参不再是背配置，而是把机制认知翻译成命令行。

沿途站点

• 7.1 安装与第一条命令：环境三件套（驱动、CUDA、框架版本）的对齐关系；vllm serve 的最小启动与冒烟验证；OpenAI 兼容接口意味着什么——客户端 SDK 只改一个 base 地址即可迁移。
• 7.2 核心参数详解：gpu_memory_utilization 为什么默认 0.9、max-model-len 怎么决定 KV Cache 的峰值预留、max-num-seqs 与第 4 章调度器的联动、量化并行参数如何组合——每个参数都标注它属于前面哪一章的机制。

拐点与结论

本章的拐点是参数即机制的投影。vLLM 的参数表面上多得吓人，但绝大多数是边缘场景的开关；核心参数的每个默认值背后都有前六章讲过的机制逻辑。例如 gpu_memory_utilization 默认 0.9，是因为第 3 章的块表需要"预占一个稳定的大池"才能高效运转；max-model-len 是第 2 章"预留浪费"里唯一暴露给用户的旋钮，它钳制的是账面峰值的上界。

结论是方法论层面的：配置 vLLM 的正确姿势是"从机制出发倒推参数"，而不是"从示例配置出发照抄"。业务是长上下文就先看 max-model-len 与缓存精度；业务是高并发就先看显存水位与并发上限；模型是 70B 就先看量化与并行组合。倒推着配置，每个参数你都能说出"为什么是它"。

读完你应该

1. 独立完成一次从安装到冒烟验证的完整部署，并处理最常见的版本对齐问题；
2. 用 OpenAI 兼容接口把现有客户端迁移到 vLLM，说清哪些字段行为有差异；
3. 解释 gpu_memory_utilization 默认值的由来，以及什么情况下该动它；
4. 用第 2 章的公式预估 max-model-len 与并发的显存联动，避免上线即 OOM；
5. 把第 5、6 章的量化、并行、缓存配置写成一条完整的启动命令；
6. 列出上线前必须自检的参数清单，并对接第 8 章的压测流程。

本章的使用姿势

如果你的目标是"今天就跑起来"，只读 7.1 即可——最小路径不依赖任何参数知识。如果你已经跑通、准备定生产配置，直接翻 7.2 的参数速查表，按"显存水位 → 上下文上限 → 并发上限"的顺序过一遍，再对照量化并行与缓存的条目补齐第 5、6 章的配置。两站都可以独立使用，但参数表的每一条都链接到某个机制章节——遇到不理解的参数，退回对应章节看懂机制再回来，比硬背推荐值可靠得多。

下一章的接力

服务上线只是起点。流量会变、模型会换、故障会来——第 8 章建立调优、压测与监控的闭环，让服务在变化中保持体面的性能与成本。