文档摘要

6.3.2.1 Throughput vs. Latency 权衡 6.3.2.1 Throughput vs. Latency 权衡：Batch Size 的“临界坍缩点”——一个在 LLaMA-3-70B 推理服务中被忽略的 CUDA 内存碎片化陷阱 凌晨两点十七分，SRE 告警弹窗第三次跳出来：“/v1/chat/completions 延迟 P99 > 8.4s，连续 5 分钟”。 会员。《6.3.2.1 Throughput vs. Latency 权衡》收录于灏天文库文集《vLLM》，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。文档编号59209。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---