文档摘要

5.6 MoE模型的量化与压缩技术 MoE（Mixture of Experts）模型通过稀疏激活机制在保持超大参数量的同时控制计算成本，但其总参数量往往远超同等能力的稠密模型。以 Mixtral 8x7B 为例，其总参数量约 46.7B，而每次推理仅激活约 12.9B 参数。这种特性使得 MoE 模型在存储和显存占用上面临严峻挑战——即使推理时只激活部分专家，所有专家的权重仍需驻留在显存中。因此，量化和压缩技术对 MoE 模型的落地部署至关重要。 本文将系统讲解 MoE 模型的量化技术（GPTQ、AWQ、SmoothQuant）、知识蒸馏、结构化剪枝和低秩分解等压缩方法，帮助读者在不同场景下选择合适的压缩策略。

---