文档摘要

第一章 MoE模型基础理论 专家混合模型（Mixture of Experts，MoE）是当前大模型架构中最具革命性的创新之一。它通过将一个超大模型拆分为多个「专家」子网络，配合一个智能路由机制，实现了「大模型能力 + 小模型算力」这一看似矛盾的工程目标。本章作为全教程的理论基石，将系统建立读者对MoE模型的核心认知框架。 本章学习路线 本章从MoE模型的历史演进出发，依次建立四个核心知识支柱： 第一支柱：历史与动机（1.1节）—— 理解MoE为什么会出现、解决了什么问题。从1991年Jacobs的早期工作到DeepSeek-V3的工程奇迹，一条清晰的技术演进线将帮助你建立宏观认知。 第二支柱：稀疏激活的数学基础（1.2节）—— 稀疏激活是MoE的灵魂。

---

作者与出处

原作者： 秃头披风侠的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1084-moe%E6%A8%A1%E5%9E%8B%E5%AE%9E%E6%88%98%E6%8C%87%E5%8D%97%E7%A8%80%E7%96%8F%E6%BF%80%E6%B4%BB%E6%9C%BA%E5%88%B6%E4%B8%8B%E7%9A%84%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1%E4%B8%8E%E8%B7%AF%E7%94%B1%E7%AD%96%E7%95%A5%E5%85%A8%E8%A7%A3

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流