文档摘要

2.1 门控算法与路由策略 概述 在混合专家（MoE）模型架构中，门控网络（Gating Network）与路由策略（Routing Strategy）是决定模型性能、计算效率和负载均衡的关键组件。门控网络负责为每个输入Token决定由哪些专家来处理，而路由策略则定义了Token到专家的具体分配规则与约束条件。一个精心设计的门控与路由机制不仅能够提升模型的表达能力，还能在推理阶段实现真正的计算稀疏化，从而在保持大规模模型容量的同时控制计算开销。 一、门控算法的完整分类体系 门控算法的本质是一个可学习的映射函数，它将输入Token的特征向量映射为一个专家选择概率分布。根据其输出形式、选择机制和数学性质，我们可以将主流门控算法分为以下几个大类。 1.

---