文档摘要

2.5 专家容量与路由噪声分析 引言 在MoE模型中，"专家容量"（Expert Capacity）和"路由噪声"（Routing Noise）是两个密切相关的核心概念。专家容量决定了每个专家一次能处理多少token，而路由噪声则影响路由决策的稳定性和探索性。合理配置这两个参数，对MoE模型的训练效率和最终性能至关重要。 专家容量的定义与计算 容量的基本公式 设批次大小为 $B$，序列长度为 $T$，专家数量为 $N$，Top-K值为 $K$。理想情况下，每个token产生 $K$ 次专家调用，总调用次数为 $BTK$。

---