附录A：MoE相关论文推荐与阅读指南

附录A：MoE相关论文推荐与阅读指南

按主题分类的论文列表

基础理论与原始模型

1. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (Shazeer et al., ICLR 2017)

   • 意义：MoE领域的开山之作，提出了稀疏门控MoE层
   • 核心贡献：首次在LSTM中引入MoE，证明了稀疏激活的可行性
   • 阅读建议：必读，理解MoE的基本思想

2. Sparsely-Gated Mixture-of-Experts Layer (Shazeer et al., 2017)

   • 与上篇为同一工作的技术报告，包含更多实验细节

大规模MoE训练

3. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (Lepikhin et al., ICLR 2021)

   • 意义：首次展示万亿参数MoE的训练
   • 核心贡献：专家并行、设备分区、条件计算
   • 阅读建议：理解分布式MoE训练的必读论文

4. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus et al., JMLR 2022)

   • 意义：提出极简的Top-1路由MoE
   • 核心贡献：证明简单的Switch路由可以work，容量因子概念
   • 阅读建议：必读，MoE训练的实用指南

5. ST-MoE: Design and Stability of Multi-Expert Transformer Models (Zoph et al., TMLR 2022)

   • 意义：MoE在多语言翻译中的系统研究
   • 核心贡献：MoE微调、蒸馏、路由稳定性分析

路由算法与负载均衡

6. Base Layers: Simplifying Training of Large, Local Models (Lewis et al., ICML 2021)

   • 意义：提出Base（稠密）层与MoE层交替的架构
   • 核心贡献：解决MoE微调时的不稳定问题

7. Expert Choice Routing (Zhou et al., NeurIPS 2022)

   • 意义：提出Expert Choice路由，从根本上解决负载均衡
   • 核心贡献：反转路由方向，每个专家选token
   • 阅读建议：深入理解路由算法的必读

8. HashMoE: Hashtable-Based Routing for Mixture-of-Experts (Levine et al., NeurIPS 2023)

   • 意义：用哈希表替代门控网络进行路由
   • 核心贡献：无需学习的路由，O(1)复杂度

9. Softmax Attention is Not All You Need: Achieving Linear Complexity with Attention-free Routing (Poe et al., 2023)

   • 意义：探索注意力与MoE路由的融合

开源模型

10. Mixtral of Experts (Jiang et al., arXiv 2024)

    • 意义：Mixtral 8x7B的技术报告
    • 核心贡献：高性能开源MoE，稀疏MoE与稠密模型性能对比
    • 阅读建议：理解现代开源MoE设计的必读

11. Qwen2.5 MoE Technical Report (Qwen Team, 2024)

    • 128个路由专家的MoE设计

12. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (DeepSeek, 2024)

    • 意义：MLA + MoE融合，无辅助损失的负载均衡
    • 核心贡献：多头潜在注意力、共享专家设计、aux-loss-free
    • 阅读建议：理解前沿MoE架构的必读

效率优化

13. MoEfication: Converting Dense Models to Mixture-of-Experts (Kim et al., ACL 2023)

    • 意义：将已有稠密模型转化为MoE
    • 核心贡献：后训练MoE化方法

14. Speed Is All You Need: On-Device Acceleration of Large Language Models with Speculative Decoding and Adaptive Sparse MoE (Miao et al., 2024)

    • MoE推理加速技术

15. Mixture-of-Experts with Expert Choice Routing for Language Modeling (Puigcerver et al., NeurIPS 2024)

    • Expert Choice在大规模LM中的系统评估

应用与前沿

16. Mixture-of-Experts with Fine-grained Expert Expansion for Parameter-Efficient Multi-task Learning (Cheng et al., 2023)

    • MoE在多任务学习中的应用

17. Vision MoE: Scaling Vision Transformers with Sparse Mixture of Experts (Riquelme et al., 2024)

    • MoE在视觉模型中的应用

18. MoE-LLaVA: Mixture of Experts for Large Vision-Language Models (Lin et al., 2024)

    • MoE在视觉语言模型中的应用

推荐阅读路径

入门路径（1-2周）

1. Outrageously Large NN → 理解MoE基本概念
2. Switch Transformers → 理解简化的MoE训练
3. Mixtral 技术报告 → 了解现代MoE实践

进阶路径（3-4周）

4. GShard → 理解分布式MoE训练
5. Expert Choice Routing → 理解高级路由算法
6. DeepSeek-V2 → 理解前沿MoE架构设计

研究路径（持续）

• 定期跟踪 arXiv cs.CL 和 cs.LG 分类下 MoE 相关论文
• 关注 NeurIPS、ICML、ICLR 等顶级会议的 MoE 相关论文