5.2.1.2 自动缩放与负载均衡

文档摘要

5.2.1.2 自动缩放与负载均衡你有没有在深夜收到过这样的告警？你点开 Dashboard，发现死死卡在 —— 而你明明配置了，。你翻遍日志，没看到或的 trace；你查，显示所有 replica 状态为；你手动测延迟，每个请求都像在排队等高铁检票——前面堆着七八个未处理的调用，而副本却纹丝不动，仿佛在度假。这不是幻觉。这是 Ray Serve 自动缩放（Autoscaling）最隐蔽、最常被低估的“失效现场”：指标采集失真导致决策瘫痪。不是配置写错了，不是代码有 bug，更不是 Ray 版本太旧——而是你信任的那个，正被一个沉默的、默认开启的、却极少被文档强调的「采样机制」悄悄篡改。