文档摘要

统一多模态架构 统一多模态架构（unified multimodal architecture）用单一系统替代了各自分离的专用模型，使其能跨文本、图像、音频和视频进行阅读、推理与生成。本文件涵盖任意到任意模型（CoDi、NExT-GPT）、原生多模态 LLM（Gemini、GPT-4o）、多模态分词策略，以及统一化在架构上的取舍。 为何要统一 想象一位会说五种语言的翻译官，能在句子中间切换语言而毫不迟疑。早期多模态系统更像五位各自独立的翻译官，坐在不同的房间里，每人处理一种语言，通过墙上的小窗口递纸条交流。

---