文档摘要

第三章 负载均衡策略 负载均衡：MoE模型的命门 如果要用一个词来概括MoE模型训练中最棘手的工程挑战，那一定是"负载不均衡"。这个问题之所以如此重要，是因为MoE架构的本质优势——让不同的专家各司其职——同时也是其最大的软肋：在缺乏有效引导的情况下，门控网络会自然而然地将大量输入集中路由到少数几个表现较好的专家上，而其余专家则几乎不被使用。 想象一家医院，所有病人都涌向最有名的几位医生，而其他医生却无人问津。这种局面不仅浪费了医疗资源，还会导致头部医生过劳、医疗质量下降。MoE模型中的负载不均衡问题与此如出一辙。当路由高度不均衡时，训练会出现以下几个严重问题： 第一，GPU利用率下降。在专家并行（Expert Parallelism）训练模式下，不同的GPU负责不同的专家。

---