文档摘要

附录D：MoE模型性能调优速查表 训练超参数速查 基础配置 参数 | 小模型 ( 100B) 学习率 | 3e-4 | 1e-4 3e-4 | 1e-4 2e-4 学习率调度 | Cosine | Cosine | Cosine Warmup步数 | 2000 | 5000 | 10000 权重衰减 | 0.1 | 0.1 | 0.05 梯度裁剪 | 1.0 | 1.0 | 1.0 BF16 | ✅ | ✅ | ✅ 梯度累积 | 1-4 | 4-16 | 16-64 MoE特定配置 参数 | 推荐值 | 说明 专家数量 $N$ | 8-128 | 根据总参数量调整 Top-K | 2 | 大多数场景的标准选择 容量因子 | 1.

---