文档摘要

2.2 动态与静态稀疏激活 概述 稀疏激活（Sparse Activation）是混合专家模型实现计算效率提升的核心机制。其核心思想在于：对于每个输入Token，仅激活模型中全部专家的一个子集进行计算，而让其余专家保持不活跃状态。这一机制使得MoE模型能够在拥有远超稠密模型的参数量的同时，保持与较小模型相当的计算开销。然而，稀疏激活并非一个单一概念——根据专家选择方式的不同、稀疏粒度的差异以及激活策略的适应性，稀疏激活可以划分为多种类型。深入理解这些分类及其各自的优劣，对于MoE模型的架构设计和工程实现至关重要。 一、稀疏激活的分类与实现机制 1.1 总体分类框架 稀疏激活可以从多个维度进行分类。按照选择时机的固定性，可以分为静态稀疏和动态稀疏；

---