文档摘要

4.4 路由崩溃问题与解决方案 引言 路由崩溃（Routing Collapse）是MoE训练中最危险的现象之一。当模型几乎所有输入都被路由到少数几个专家时，大部分专家参数几乎不被更新，MoE退化为一个小型稠密模型。这不仅浪费了大量的模型容量，还可能导致训练发散或性能严重下降。本章将深入分析路由崩溃的成因、检测方法和解决方案。 路由崩溃的定义与分类 形式化定义 设 $\epsilon{collapse} > 0$ 为崩溃阈值。

---