文档摘要

5.8 MoE模型的监控、诊断与可观测性 MoE（Mixture of Experts）模型在生产环境中引入了全新的可观测性挑战。与稠密模型不同，MoE 的输出质量不仅取决于模型权重，还高度依赖于路由决策的正确性、专家负载的均衡性以及专家间的协作效果。一个看似正常的 MoE 服务，可能因为路由器逐渐退化或某个专家参数漂移而悄然产生质量下降，传统监控指标（如 P99 延迟、QPS）往往无法及时发现这些问题。 本文将系统介绍 MoE 生产环境的监控体系设计、故障诊断方法、可观测性工具链集成以及 A/B 测试与灰度发布策略，帮助运维团队构建全面的 MoE 可观测性体系。

---