5.3 推理框架生态对比与选型决策

5.3 推理框架生态对比与选型决策

整本文集都在讲 vLLM，但作为收尾的总结章，我不能回避一个对决策者更重要的问题：vLLM 真的总是最优选吗？什么场景该用别的框架？ 选错框架的代价是结构性的——它决定了你的部署复杂度、性能天花板、生态兼容性、团队学习成本，一旦选错往往要推倒重来。我在不同公司、不同业务里用过 vLLM、TGI、TensorRT-LLM、LMDeploy，每一款都踩过它的甜区和它的坑。

这一节不写「五星打分速查表」那种浅层对比（附录里的速查表救不了真决策），而是把每个框架的架构哲学、性能特性、生态定位、适用边界讲透，最后给一棵可操作的选型决策树。读完之后你应该能在拿到一个具体业务场景时，5 分钟内判断该用哪个框架、为什么——而不是「大家都用 vLLM 所以我也用」。

先建立对比的坐标系

对比框架不能只看「谁吞吐高」，那是单维度比较，会掩盖关键差异。我用四个维度建立坐标系：

• 性能：吞吐天花板、延迟特性、对硬件的压榨程度。
• 易用性：部署门槛、文档质量、API 兼容性、迭代频率。
• 生态：模型适配速度、社区活跃度、与上下游工具的集成。
• 可控性：调优旋钮的丰富度、定制化能力、源码可改性。

不同业务对四个维度的权重不同。比如内部工具偏好「易用性+生态」，规模化商业服务偏好「性能+可控性」，研究项目偏好「生态+可控性」。没有「绝对最好」的框架，只有「在你权重下最优」的框架。

下面逐个框架展开。

vLLM：通用首选，开源生态标杆

架构哲学：用 PagedAttention 把 KV Cache 当虚拟内存管，配合连续批处理，把 GPU 利用率压榨到极限。它不是在某个 kernel 上做到极致，而是在系统层面把「并发调度 + 显存管理」做到了开源框架里最成熟。

性能特性：吞吐天花板高，GPU 利用率长期 80%+（开 CUDA Graph）。延迟特性中规中矩，TTFT 在长 prompt 场景靠 chunked prefill 优化。它的甜区是「通用模型 + 高并发 + 中等延迟敏感」——80% 的业务场景落在这个区间。

生态定位：开源活跃度第一，新模型适配通常几天到一周内跟进。OpenAI 兼容 API 让前端切换零成本。HuggingFace 模型直接加载，无需复杂转换。这是它最大的护城河——你今天部署 DeepSeek V4，明天换成 Llama 4，几乎不用改代码。

适用边界：

• 甜区：通用 LLM 服务、MoE 模型（EP 支持成熟）、需要灵活切换模型的平台。
• 边界：极致延迟场景（<100ms）打不过 TensorRT-LLM；极致 NVIDIA 栈优化打不过 TRT-LLM；InternLM 系列模型在 LMDeploy 上更顺。

坑：版本迭代快意味着偶有回归，生产必须锁版本；某些前沿特性（如最新的投机解码变体）落地节奏不如 NVIDIA 自家框架快。

TGI（Text Generation Inference）：HuggingFace 生态的丝滑之选

架构哲学：HuggingFace 自家推理服务，原生支持 HF 模型生态，部署体验最丝滑。底层用 Flash Attention、PagedAttention（后期版本也引入了类似优化），但优化重点不在性能极限，而在「HF 生态内最省心的部署」。

性能特性：吞吐比 vLLM 略低（约 80%~95%），但差距不大。延迟特性类似。它的甜区是「模型已经在 HF 生态里，团队熟悉 HF 工具链，不想折腾」。

生态定位：HF 生态第一。模型加载、tokenizer、chat template 全部 HF 原生，零适配成本。Inference Endpoints（HF 的托管服务）就用 TGI，深度集成。

适用边界：

• 甜区：HF 模型快速上线、内部工具、PoC 验证。
• 边界：极致吞吐打不过 vLLM；非 HF 生态模型支持差；商业化大规模服务的可控性不如 vLLM。

坑：TGI 的优化节奏受 HF 整体战略影响，某些性能特性落地比 vLLM 慢半拍。如果你追求最新优化，TGI 不是最快的选择。

TensorRT-LLM：NVIDIA 栈的极致性能怪兽

架构哲学：NVIDIA 官方出品，用 TensorRT 把模型编译成极致优化的引擎。每一个 kernel、每一个融合都为 NVIDIA 硬件量身定制，性能天花板最高。

性能特性：吞吐比 vLLM 高 10%~30%（视模型和硬件），延迟特性尤其优秀（kernel 融合、weight-only quantization 的极致优化）。在 H100 上跑大模型，TRT-LLM 经常是单项冠军。它的甜区是「NVIDIA 旗舰硬件 + 极致性能需求 + 团队能 hold 住复杂部署」。

生态定位：NVIDIA 栈最强，但开源生态弱。模型需要「build」成 TRT 引擎（耗时且对环境敏感），新模型适配要等 NVIDIA 官方支持或自己写插件。迭代节奏受 NVIDIA 发布周期影响。

适用边界：

• 甜区：超大规模商业服务（每 1% 性能提升都值钱）、NVIDIA 旗舰硬件、固定模型长期运行。
• 边界：频繁切换模型痛苦（每次 build 引擎几十分钟到几小时）、非 NVIDIA 硬件不支持、社区资源少出了问题难查。

坑：部署复杂度是它最大的劝退点。Build 引擎、调精度、处理量化，门槛陡峭。我见过团队为了 10% 性能提升上 TRT-LLM，结果花在 build/debug 上的时间抵消了半年的性能收益。只有性能真的是核心 KPI 时才值得。

这个框架什么时候会失效：模型迭代频繁（每次重新 build）、需要灵活定制（TRT 引擎黑盒）、非 NVIDIA 硬件（AMD/Intel GPU 完全不支持）。这三类场景上 TRT-LLM 是灾难。

LMDeploy：国产模型生态的深耕者

架构哲学：上海 AI Lab 出品，深度优化 InternLM 系列和国产模型。用 W4A16 量化、TurboMind 引擎做到接近 TRT-LLM 的性能，但部署体验比 TRT-LLM 友好得多。

性能特性：在 InternLM 系列上性能最佳（sometimes 超过 vLLM 和 TRT-LLM），通用模型上和 vLLM 接近。量化（W4A16）是它的招牌，4bit 权重 + 16bit 激活，显存大幅压缩且精度损失小。

生态定位：InternLM 生态最强，国产模型（Qwen、ChatGLM、Baichuan 等）支持也很好。国际模型生态不如 vLLM 全。

适用边界：

• 甜区：InternLM 系列、国产模型为主、需要极致量化（4bit）。
• 边界：国际模型生态弱；非国产硬件优化没 TRT-LLM 极致。

坑：文档和社区主要在中文圈，国际资源少。团队如果不熟悉中文技术生态，学习成本略高。

横向对比：一张能决策的表

把四款框架放在同一张表上对比，但不是简单的五星打分，而是「甜区 + 边界 + 决策含义」：

选型决策树：5 分钟做决定

把上面的对比浓缩成可执行的决策树。拿到一个新业务时，按下面顺序问：

问题 1：你的主力模型是什么？

• InternLM / Qwen / ChatGLM 等国产模型为主 → LMDeploy（深耕优化）。
• DeepSeek V4 / Llama / 其他通用模型 → 进问题 2。
• 团队强 HF 背景、要快速 PoC → TGI。

问题 2：性能是不是你的核心 KPI？

（判断标准：单集群每天 GPU 成本 >10 万，或延迟 P99 SLA <200ms）

• 是，且团队有 NVIDIA 栈经验、模型固定不频繁切 → TensorRT-LLM。
• 否，或不确定 → vLLM。

问题 3（fallback）：以上都不明确？

• vLLM。它是通用首选，「不知道选什么就选 vLLM」在 2025 年是合理默认。

这个决策树的逻辑：vLLM 是 80% 场景的合理默认，只有在明确「国产模型深耕」「极致性能」「HF 生态丝滑」时才偏离。不要为了「用新框架」而选非默认，迁移成本永远比想象的高。

DeepSeek V4 为什么首推 vLLM

整本文集用 vLLM 部署 DeepSeek V4，这不是偶然选择，是基于四个理由：

1. MoE 友好：DeepSeek V4 是 MoE 架构，vLLM 对专家并行（EP）支持最成熟。TGI、TRT-LLM 在 MoE 调度上要么支持弱、要么要额外配置。
2. 吞吐天花板高：PagedAttention + 连续批处理让 GPU 利用率长期 80%+，DeepSeek V4 这种大模型的部署成本极高，吞吐每提升 10% 都意味着百万级节省。
3. 生态兼容：OpenAI 兼容 API + HF 模型加载，前端切换和模型迭代零成本。
4. 开源活跃：DeepSeek 系列模型发版后，vLLM 通常几天内适配，比商业框架（TRT-LLM）快得多。

唯一可能偏离的场景：如果你已经全栈 NVIDIA + 模型固定不换 + 追求极致性能，TRT-LLM 在 DeepSeek V4 上能再榨出 10%~15%。但代价是部署复杂度和灵活性损失——除非这 10% 对你值钱到值得，否则 vLLM 是更优解。

选型之外：长期视角的几个判断

具体选型之外，再给几个长期视角的判断，供你做 1~3 年规划参考：

判断 1：vLLM 的护城河会持续加深。它的优势不在某个单点技术，而在「开源生态 + 模型适配速度 + 社区规模」的飞轮。新模型出来，vLLM 第一个支持 → 用户更多 → 社区更大 → 新模型更快支持。这个飞轮短期内难以被打破。

判断 2：TRT-LLM 的市场份额会被侵蚀。它的性能优势在缩小（vLLM 的 kernel 优化在追），而部署复杂度的劣势不变。除了极致性能场景，越来越多人会回到 vLLM。除非 NVIDIA 把 TRT-LLM 的部署体验做到和 vLLM 一样简单。

判断 3：LMDeploy 在国产模型生态会持续受益。国产模型（DeepSeek、Qwen、InternLM）的崛起带动了国产推理框架的需求，LMDeploy 是这个趋势的最大受益者。如果你的业务以国产模型为主，押注 LMDeploy 是合理的长期选择。

判断 4：框架趋同是长期趋势。各个框架都在互相借鉴（TGI 学 PagedAttention，vLLM 学 TRT 的 kernel 融合），长期看差异会缩小。这意味着选型决策的「不可逆性」在降低——今天选 vLLM，明天换 TGI 的成本会比现在低。但仍要避免频繁切换，每次切换都有隐性成本。

收尾：选型是一种权衡训练

框架选型没有「正确答案」，只有「在你的约束下的最优解」。约束包括你的硬件、模型、业务 SLA、团队能力、时间窗口。这一节给的决策树是「在大多数约束下的合理默认」，但你的具体场景可能需要偏离默认——关键是清楚知道「我为什么偏离默认」「我接受偏离的代价」。

我见过太多选型失败的案例，共同特点是「只看了框架的优点，没看框架的边界」。vLLM 不是万能的，TRT-LLM 也不只是「更复杂但更快」。成熟的选型是同时看见甜区和边界，然后基于自己的约束做权衡。这一节希望给你的，不是「选 X 框架」的结论，而是「怎么做出适合自己的选型决策」的能力。

带上这个能力回到你的下一个项目，不管是 DeepSeek V4 还是未来的新模型，你都能在框架选型这一步走得更稳。