文档摘要

5.2.1.2 自动缩放与负载均衡 你有没有在深夜收到过这样的告警？ 你点开 Dashboard，发现 死死卡在 —— 而你明明配置了 ， 。 你翻遍日志，没看到 或 的 trace；你查 ，显示所有 replica 状态为 ；你手动 测延迟，每个请求都像在排队等高铁检票——前面堆着七八个未处理的 调用，而副本却纹丝不动，仿佛在度假。 这不是幻觉。 会员。《5.2.1.2 自动缩放与负载均衡》收录于灏天文库文集《vLLM》，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。文档编号59194。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---