3.3.3 吞吐量（Throughput）与延迟（Latency）模式权衡

文档摘要

3.3.3 吞吐量（Throughput）与延迟（Latency）模式权衡在大模型推理服务的工程实践中，吞吐量（Throughput）与延迟（Latency）从来不是一对非此即彼的“选择题”，而是一组彼此缠绕、动态耦合、需在具体软硬件约束下反复校准的系统级张力变量。当你在深夜调试一个Qwen2-7B-Instruct服务时，发现P99延迟从380ms骤升至1.2s，而GPU利用率却始终卡在42%——这绝非模型本身的问题，而是调度策略在吞吐与延迟之间悄然失衡的警报。真正的挑战不在于“要不要优化”，而在于：在给定batch size、KV缓存管理方式、prefill/decode分离程度、CUDA流调度粒度、甚至PCIe带宽拓扑的前提下，如何让每毫秒的GPU计算时间都精准服务于你的SLA目标？