文档摘要

3.4 辅助损失函数设计与负载均衡优化 引言 负载均衡是MoE训练中最核心的挑战之一。当路由算法自由分配token时，自然倾向于将大量token发送给少数"热门"专家，而其他专家处于闲置状态。这不仅浪费了模型容量，还可能导致训练不稳定和推理效率低下。辅助损失函数是解决这一问题的核心工具。本章将深入探讨各类辅助损失函数的设计原理、优化策略和实际效果。 负载不均衡的根源分析 数学视角的失衡 给定 $N$ 个专家和 $K$ 个路由选择，每个token被路由到概率最高的 $K$ 个专家。路由频率为： $$fi = \frac{1}{T} \sum{t=1}^{T} \mathbf{1}[i \in \text{TopK}(G(xt))]$$ 理想状态：$fi = K/N$ 对所有 $i$ 成立。

---