2.2 动态与静态稀疏激活

2.2 动态与静态稀疏激活

概述

稀疏激活（Sparse Activation）是混合专家模型实现计算效率提升的核心机制。其核心思想在于：对于每个输入Token，仅激活模型中全部专家的一个子集进行计算，而让其余专家保持不活跃状态。这一机制使得MoE模型能够在拥有远超稠密模型的参数量的同时，保持与较小模型相当的计算开销。然而，稀疏激活并非一个单一概念——根据专家选择方式的不同、稀疏粒度的差异以及激活策略的适应性，稀疏激活可以划分为多种类型。深入理解这些分类及其各自的优劣，对于MoE模型的架构设计和工程实现至关重要。

一、稀疏激活的分类与实现机制

1.1 总体分类框架

稀疏激活可以从多个维度进行分类。按照选择时机的固定性，可以分为静态稀疏和动态稀疏；按照稀疏粒度，可以分为Token级稀疏和Expert级稀疏；按照激活决策的来源，可以分为门控网络驱动、哈希函数驱动和专家主动选择等。

1.2 稀疏激活的数学度量

稀疏激活的程度可以用激活率（Activation Ratio）来量化。对于一个拥有 N 个专家、采用Top-K路由的MoE层，理论激活率为：

r = K / N

例如，Mixtral 8x7B 拥有8个专家，采用Top-2路由，因此激活率为 2/8 = 25%。这意味着对于每个Token，仅有25%的参数参与了前向计算。

然而，理论激活率并不完全等同于实际计算节省比例。实际计算量还受到以下因素影响：门控网络本身的计算开销、All-to-All通信的开销、以及负载不均衡导致的专家空转。因此，有效的稀疏加速比通常低于理论值。

二、静态稀疏激活

2.1 基本概念

静态稀疏激活是指在模型训练开始之前就确定每个Token（或每类Token）的专家分配方案，在整个训练和推理过程中保持不变。静态稀疏的核心优势在于其确定性和可预测性——系统可以在编译期就确定计算图，从而进行极致的算子融合和内存规划优化。

2.2 固定路由表方案

最简单的静态稀疏实现是预定义一个路由表。例如，对于具有8个专家的MoE层，可以将词汇表中的Token按照其ID模8的结果分配给对应专家：

expert(token) = token_id mod N

这种方案完全消除了门控网络的开销，路由决策是O(1)的常数时间操作。然而，其缺陷同样明显——它假设相邻Token ID对应的语义内容相似，这一假设在实际语言数据中通常不成立。名词、动词、标点符号等不同类型的Token可能在ID空间中交错分布，导致同一专家需要处理语义差异巨大的Token。

2.3 哈希路由

哈希路由通过一个固定的哈希函数将Token特征映射到专家ID，是静态稀疏中最为灵活的方案。与简单模运算不同，哈希路由通过线性投影将Token特征映射到一个更适合哈希的空间，使得语义相近的Token更有可能被分配到同一专家。由于哈希函数是确定性的，这种方案在推理时完全可预测，同时通过投影矩阵间接利用了Token的语义信息。

HashMoE是这一方向的代表性工作。它通过学习一个轻量级的哈希函数，在保持路由确定性的同时尽可能地将语义相似的Token分组到同一专家。HashMoE在保持接近动态路由性能的同时，将推理速度提升了30%以上。

2.4 层间固定分配

另一种静态稀疏策略是在不同MoE层之间采用固定的专家子集分配。例如，对于一个拥有4个MoE层、每层8个专家的模型，可以将第一层固定激活专家1-4，第二层激活专家3-6，以此类推。这种层间固定的分配策略减少了层间通信需求，因为相邻层之间有专家重叠，部分Token可以在同一设备上连续处理。

2.5 静态稀疏的适用场景

静态稀疏最适合以下场景：一是对延迟极度敏感的在线推理服务，因为确定性路由消除了运行时的分支和调度开销；二是资源受限的边缘设备部署，此时编译期优化带来的收益尤为显著；三是需要对推理行为进行精确审计和复现的场景，确定性路由保证了相同输入总是产生相同计算路径。

三、动态稀疏激活

3.1 基本概念

动态稀疏激活是指专家的选择在推理时根据输入内容实时决定。每个Token的专家分配由门控网络根据当前输入的特征动态计算，不同输入可能被路由到完全不同的专家组合。动态稀疏是目前MoE研究的主流方向，几乎所有有影响力的MoE模型（Sparse MoE、GShard、Switch Transformer、Mixtral等）都采用动态稀疏策略。

3.2 门控网络驱动的动态路由

门控网络是动态稀疏的核心组件。对于输入Token x，门控网络G计算一个专家选择分布。门控网络的参数通过端到端训练与模型主体联合优化，使得路由决策能够学习到有意义的专家分工。

动态路由的优雅之处在于：它让模型自行发现专家之间的最优分工模式。在训练过程中，门控网络会逐渐学会将不同类型的Token分配给不同专长的专家。例如，在语言模型中，某些专家可能专门处理数学表达式，另一些专家擅长处理自然语言描述，还有一些专家负责代码片段。这种自发形成的知识分工是MoE模型强大的关键原因之一。

3.3 Expert Choice：反转路由范式

Expert Choice Routing（专家选择路由）是动态稀疏的一个重要变体，它从根本上改变了路由的方向——不是Token选择专家，而是专家选择Token。具体而言，每个专家独立计算对当前批次中所有Token的注意力得分，然后选择得分最高的C个Token进行处理。

这种反转带来了天然的负载均衡——每个专家处理相同数量的Token，彻底消除了传统路由中专家负载不均的问题。同时，由于每个Token可能被多个专家选中（或未被任何专家选中），Expert Choice在Token维度上是非稀疏的，但在Expert维度上是严格均匀的。

3.4 注意力软路由

Soft MoE代表了稀疏激活的最新发展方向。它将路由机制与注意力机制深度融合，用Softmax注意力替代了传统的Top-K硬路由。其中每个专家拥有自己的查询向量，Token提供键向量和值向量，通过注意力分数实现软路由。

这种设计完全消除了离散路由决策，所有计算都是连续可微的，梯度流更加顺畅。Soft MoE通过控制查询向量和键向量的维度来调节每个Token的激活专家数量，实现了灵活的稀疏性控制。在性能上，Soft MoE在相同计算预算下通常优于传统的Top-K硬路由方案。

四、Token级稀疏与Expert级稀疏

4.1 Token级稀疏

Token级稀疏是最常见的稀疏形式，其含义是：对于模型处理的每一个Token，仅选择K个专家进行计算，其余专家不参与。这种稀疏方式直接降低了每个Token的计算量。

Token级稀疏的实现面临一个关键挑战：不同Token可能被路由到不同的专家，导致计算图在Token维度上是不规则的。这种不规则性给GPU等并行计算设备带来了严重的效率问题。为了缓解这一问题，工程实践中通常采用Token分组和填充策略，将路由到同一专家的Token打包成连续的子批次进行处理。

4.2 Expert级稀疏

Expert级稀疏的视角不同：它关注的是每个专家处理多少Token。在典型的MoE训练中，不同专家处理的Token数量差异很大——热门专家可能处理数十倍于冷门专家的Token量。Expert级稀疏旨在控制每个专家的工作量。

Expert Choice Routing天然实现了Expert级稀疏——每个专家处理固定数量的Token。而传统的Token级路由（如Switch Transformer）则需要通过辅助损失函数和容量因子来间接控制Expert级的负载。

4.3 两种稀疏的权衡

Token级稀疏直接优化了单Token的计算效率，适合推理场景中对延迟敏感的应用。Expert级稀疏优化了整体计算的均匀性，更适合训练场景中需要最大化GPU利用率的情况。在实践中，大多数MoE模型在训练时侧重Expert级均衡（通过辅助损失），在推理时利用Token级稀疏进行加速。

五、计算效率的理论分析

5.1 FLOPs对比

我们通过理论FLOPs（浮点运算次数）来分析稀疏激活的效率优势。对于一个隐藏维度为d、中间层维度为d_ff的稠密前馈网络，每个Token的FLOPs约为：

FLOPs_dense = 2 × d × d_ff × 2（两次线性变换）

对于一个拥有N个专家、采用Top-K路由的MoE层，假设每个专家的中间层维度与稠密模型相同，则每个Token的FLOPs为：

FLOPs_moe = 2 × d × d_ff × K + FLOPs_gate

其中FLOPs_gate是门控网络的计算开销。当N=8, K=2时，如果我们保持总参数量不变（每个专家的维度为d_ff/8），则：

FLOPs_moe = 2 × d × (d_ff/8) × 2 = FLOPs_dense / 4

5.2 通信开销的隐性代价

理论FLOPs分析忽略了分布式训练中不可避免的通信开销。在专家并行的部署中，路由决策后需要进行All-to-All通信将Token分发到对应专家所在的设备。通信量与被路由的Token数成正比，与专家数量无关（因为每个Token只发送K次）。

通信开销可以用以下公式估算：

t_comm = (K × T × d) / B

其中T是Token数，d是特征维度，B是互联带宽。当B较低时（如跨节点通信），通信延迟可能超过计算节省的时间，导致MoE的实际加速比远低于理论值。这是为什么MoE模型的实际部署通常需要在单节点内完成，以利用高带宽的NVLink互联。

5.3 内存墙的影响

稀疏激活的另一个效率瓶颈是内存访问模式。稠密矩阵乘法可以充分利用GPU的 Tensor Core，实现接近峰值的计算吞吐量。而MoE的不规则路由导致每次矩阵乘法的批次大小不同，小批次计算无法充分利用硬件的计算单元。

实验表明，当每个专家处理的Token数少于128时，GPU的利用率通常降至30%以下。这意味着即使理论上MoE层仅需25%的FLOPs，由于内存墙和低利用率，实际加速比可能只有2-3倍而非4倍。这也是为什么保持专家负载均衡不仅影响训练稳定性，也直接影响推理效率。

六、各主流模型的稀疏策略对比

6.1 经典模型策略一览

Sparse MoE（2017）是最早的MoE语言模型，采用Noisy Top-2门控 + 动态路由，拥有137亿参数但每次仅激活约20亿，激活率约15%。它开创了MoE在语言模型中的应用范式。

GShard（2020）由Google提出，采用Top-2门控和容量因子机制，首次在Transformer中大规模应用MoE。其容量因子设为1.25，允许25%的冗余容量以应对负载波动。GShard证明了MoE可以扩展到6000亿参数的规模。

Switch Transformer（2021）采用最简单的Top-1路由，每个Token仅激活一个专家。其关键创新在于发现简单的单专家路由配合适当的负载均衡损失，可以达到甚至超过Top-2路由的性能。Switch Transformer将T5-Base扩展到7.4倍参数量而计算量不变。

Mixtral 8x7B（2023）是开源MoE模型的里程碑，同样采用Top-2路由，但通过精心的架构设计和训练策略，在同等计算预算下超越了Llama 2 70B的性能。Mixtral证明了Top-2路由在开源社区中的可行性和竞争力。

DeepSeek-V2/V3（2024）采用了更激进的细粒度专家策略。DeepSeek-V2拥有160个共享专家和256个路由专家，每个Token仅激活6个路由专家（从256中选），激活率仅约2.3%。这种极致的稀疏化配合Multi-Head Latent Attention，实现了极高的计算效率。

6.2 稀疏策略选择的指导原则

选择稀疏策略时需要综合考虑以下几个因素：一是模型规模——专家数量越多，Top-K中K的选择越需要谨慎，过小的K会导致信息瓶颈；二是部署环境——跨节点部署需要更粗粒度的路由以减少通信，单节点部署可以更细粒度；三是任务复杂度——简单任务（如分类）可能只需要Top-1，复杂生成任务通常需要Top-2或更高。

一个实用的经验法则是：保持每个MoE层的总计算量约为等效稠密层的1/4到1/2。这对应着Top-2路由配合8-16个专家，或Top-1路由配合4-8个专家的配置区间。超出这个范围，要么计算节省不明显，要么表达能力受到过度限制。

七、总结与展望

稀疏激活是MoE模型的灵魂。从静态到动态，从Token级到Expert级，不同的稀疏策略各有其适用场景和设计权衡。静态稀疏以其确定性和高效性在推理部署中占据优势，动态稀疏则以其自适应性和强大性能在训练和创新研究中保持主导地位。未来，混合稀疏策略（如训练时动态、部署时静态化）可能成为兼顾两者优势的实用方案。同时，随着硬件对不规则计算的支持不断增强（如专用MoE加速器），稀疏激活的效率优势将进一步放大。