6.3.1 工具使用（vllm-bench）

文档摘要

6.3.1 工具使用（vllm-bench）在大模型推理服务的工程化落地过程中，基准测试从来不是一份“跑完就交差”的性能报告——它是一面棱镜，折射出模型、框架、硬件与业务负载之间千丝万缕的耦合关系；它是一把手术刀，必须精准切开吞吐（throughput）、延迟（latency）、显存占用（KV cache footprint）、请求调度效率（request scheduling overhead）等相互缠绕的维度；它更是一份契约，定义了SLO（Service Level Objective）的物理边界：当P99延迟突破800ms，用户已开始滑动刷新；当显存碎片率超过35%，新请求就会在等待中悄然超时。而就在这个关键十字路口，vLLM团队推出的，并非又一个封装了的简易脚本。