文档摘要

6.2 MoE在多模态模型中的应用 MoE（Mixture of Experts）架构的核心理念——根据输入内容的差异动态选择不同的计算专家——与多模态学习天然契合。不同的模态（文本、图像、音频、视频）具有截然不同的数据表征和计算需求，MoE 可以让模型为每种模态或每种模态组合自动分配专门的专家，从而以稀疏激活的方式高效处理复杂的多模态任务。本节将系统分析 MoE 在视觉-语言模型、音频模型和混合模态场景中的应用。 一、视觉-语言 MoE 架构 1.1 多模态 MoE 的设计动机 传统的多模态模型（如 Flamingo、LLaVA）通常采用统一的 Transformer 架构处理文本和图像特征，所有模态共享同一套参数。

---