文档摘要

3.5 MoE模型的可扩展性分析 引言 MoE模型的一个核心优势是"可扩展性"（Scalability）——在增加模型容量的同时不线性增加计算成本。然而，可扩展性不是一个简单的"越大越好"的故事。本章将从理论和实践两个维度分析MoE模型的可扩展性特征，包括专家数量扩展、模型深度扩展和分布式训练扩展。 可扩展性的三个维度 维度一：专家数量扩展（横向扩展） 增加专家数量 $N$ 是最直接的扩展方式。对于固定的Top-K值，每个token的计算量不变，但模型总参数量从 $O(dh)$ 增长到 $O(N \cdot dh)$。 理论上限：当专家数量趋于无穷大时，MoE等价于一个条件计算模型，每个输入被路由到最合适的一个专家。

---