文档摘要

6.1 MoE模型微调与训练优化 MoE 模型凭借稀疏激活机制在参数规模与计算效率之间取得了出色平衡，但在实际应用中，如何高效地对如此庞大的模型进行微调（Fine-tuning），使之适应特定领域或任务，仍是一项重大挑战。本节将系统讲解 MoE 微调的核心策略、LoRA 技术与 MoE 的深度融合，以及负载均衡损失在微调过程中的调优技巧。 一、MoE微调的核心挑战 1.1 专家坍缩问题 在全量微调过程中，MoE 模型面临一个独特风险——专家坍缩（Expert Collapse）。当梯度更新倾向于让路由器将大多数 token 分配给少数几个专家时，其余专家将长期得不到有效的训练信号，逐渐失去区分能力，最终退化为"冗余专家"。

---