文档摘要

1.1 MoE模型的起源与发展历程 条件计算的萌芽：1991年的远见 1991年，当深度学习还是遥远未来的概念时，Robert A. Jacobs、Michael I. Jordan、Geoffrey E. Hinton 等人在 Neural Computation 上发表了一篇开创性的论文，提出了"混合专家"（Mixture of Experts）模型。这篇论文的核心思想极其简洁却深远：与其用一个单一的神经网络处理所有输入，不如让多个"专家"网络各司其职，由一个门控网络（Gating Network）根据输入动态决定哪些专家应该被激活。 这一思想的直觉来源很朴素——人类社会本身就是混合专家系统的典范。当你需要法律咨询时，你不会去找一位全科医生；当你需要做手术时，你也不会去找一位律师。

---