附录C：MoE训练与推理常见问题FAQ

附录C：MoE训练与推理常见问题FAQ

训练相关

Q1: MoE训练时出现严重的负载不均衡怎么办？

A: 这是一个多层次的解决方案：

1. 首先检查辅助损失系数：如果 \alpha < 0.01，增大到 0.01-0.1
2. 增大容量因子：从 1.0 增大到 1.25 或 1.5
3. 检查学习率：门控网络的学习率可能过高，尝试降低 2-5 倍
4. 使用Expert Choice路由：从根本上保证负载均衡
5. 启用专家dropout：随机丢弃部分专家，强制模型学习冗余

Q2: MoE训练loss震荡不稳定？

A: 可能原因及解决方案：

• 温度参数不当：如果使用路由温度退火，确保不会退火过快
• 批次大小过小：MoE的负载均衡需要足够的批次统计量，建议 batch_size ≥ 128
• 梯度裁剪不当：对门控网络的梯度进行单独裁剪，阈值设为 0.5-1.0
• 残差连接问题：确保MoE层有残差连接，使用Pre-LN而非Post-LN

Q3: 为什么我的MoE模型没有比同FLOPS的稠密模型好？

A: 常见原因：

1. 数据量不足：MoE需要更多数据来利用额外容量。经验上，MoE需要 N/K 倍的数据
2. 训练不充分：MoE模型通常需要更多训练步数才能收敛
3. 专家数量太少：如果 N \leq 4，MoE的优势有限
4. 路由崩溃：检查专家利用率，可能大部分专家未被有效使用
5. 任务太简单：对简单任务，MoE的额外容量可能无法发挥作用

Q4: 如何确定最优的专家数量和Top-K值？

A: 经验法则：

• 专家数量 N：N = 4 到 N = 256 均有成功案例。建议从 8 开始，根据模型规模调整
• Top-K值：大多数现代MoE模型使用 K=2。K=1 更简单但负载均衡更难；K=4 更稳定但计算量翻倍
• 计算预算约束：K \cdot h^2 \leq F_{budget}

Q5: MoE可以用于微调已有模型吗？

A: 可以，但需要额外注意：

1. 冷启动专家：新加入的专家从随机初始化开始，需要warmup阶段
2. 蒸馏辅助：用原始模型（教师）的输出作为软标签蒸馏给MoE模型
3. 渐进式MoE化：先将部分层替换为MoE，逐步扩展到所有层
4. 使用Base层：保留部分稠密层（Base层）作为稳定性保障

Q6: 多GPU训练MoE时通信瓶颈严重？

A: 优化建议：

1. 减小EP并行度：增大DP并行度，减少All-to-All通信次数
2. 启用通信-计算重叠：将token dispatch与注意力计算流水线化
3. 使用InfiniBand：确保节点间使用IB而非以太网
4. 梯度累积：增大梯度累积步数，减少通信频率
5. 拓扑感知调度：同节点内的EP组优先

推理相关

Q7: MoE推理速度没有比小模型快？

A: 检查以下几点：

1. 是否启用了专家并行：多GPU部署时确保EP配置正确
2. 是否使用了CUDA Graph：启用 enforce_eager=False 以使用CUDA Graph
3. 专家参数是否在显存中：大MoE模型可能需要懒加载专家参数
4. 批次大小是否足够：MoE的批处理优化需要足够的并发请求
5. KV Cache配置：检查KV Cache的block_size和max_num_seqs设置

Q8: MoE推理时显存不足？

A: 解决方案：

1. 量化：专家参数使用INT4或FP8量化
2. 增大EP并行度：将专家分散到更多GPU上
3. 减小批次大小：降低并发序列数
4. 启用PagedAttention：使用分页KV Cache管理
5. 减小最大序列长度：根据实际需求限制max_model_len

Q9: MoE模型能否在CPU上运行？

A: 可以，使用llama.cpp等轻量级框架：

./llama-server -m mixtral-8x7b.gguf -t 8 -c 2048
​

注意：CPU推理MoE的速度很慢（通常 < 1 token/s），仅适合测试和开发。生产环境推荐GPU推理。

Q10: 量化后MoE模型质量下降严重？

A: 优化建议：

1. 区分对待：共享参数（注意力层）保持BF16，仅量化专家参数
2. 使用AWQ而非简单量化：AWQ保留重要权重的高精度
3. 量化后微调：用少量数据微调量化后的模型恢复精度
4. 使用FP8而非INT4：FP8的精度损失更小，且H100/A100原生支持

架构设计相关

Q11: MoE和密集模型到底哪个好？

A: 取决于场景：

• MoE优势：推理成本固定时需要最大质量；云服务API场景
• 稠密优势：训练简单、稳定；边缘部署；小规模场景
• 经验法则：当模型参数量 > 10B 且推理是成本主要来源时，MoE通常更优

Q12: 共享专家（Shared Expert）有必要吗？

A: DeepSeek-V2/V3的经验表明共享专家非常有价值：

• 处理所有token都需要的通用知识
• 避免路由到特定专家时丢失通用信息
• 推荐配置：1个共享专家 + N个路由专家

Q13: MoE可以用于非NLP任务吗？

A: 可以！MoE已成功应用于：

• 视觉：Vision MoE，MoE-LLaVA
• 代码：StarCoder-MoE
• 语音：MoE-based speech models
• 推荐系统：MoE在CTR预估中的应用
• 多模态：MoE在视觉-语言模型中的应用