文档摘要

第二章 稀疏激活机制详解 核心价值：以稀疏换容量 稀疏激活（Sparse Activation）是MoE模型区别于传统密集模型的最本质特征，也是MoE技术能够实现"大模型、低计算"目标的关键所在。如果说MoE模型是一座庞大的图书馆，那么稀疏激活机制就是图书管理员——它不需要每次都翻遍所有书架，只需要根据读者的需求精准地从若干个书架上取出相关书籍即可。 从计算复杂度的角度来看，稀疏激活的核心价值可以用一个简单的对比来理解。假设一个密集Transformer模型拥有N层、每层参数量为D，则单次前向传播的计算量约为 $O(N \times D)$。

---