第1章 单模态局限与多模态导论

第1章 单模态局限与多模态导论

章节摘要

人类感知世界从不依赖单一通道——我们用眼睛看、用耳朵听、用语言沟通，不同模态（Modality）的信息在大脑中相互印证、彼此补全。然而过去十年的深度学习，绝大多数模型都只精通一种模态：视觉模型（如 ResNet）擅长分类图像却看不懂图中的故事，语言模型（如 BERT、GPT）能写文章却对一张随手拍的照片束手无策。这种单模态局限正是「多模态大模型」（Multimodal Large Language Model, MLLM）诞生的根本动因。本章作为整份教程的起点，先剖析单模态模型在真实场景中遇到的天花板，再给出多模态大模型的核心定义与五大关键能力，最后梳理从早期双流网络到 CLIP、再到 GPT-4V 一路演进的技术脉络，并在章末提供 GPT-4o、Gemini 2.x、Claude 3.5 Sonnet 视觉等 2024–2026 前沿模型的全景速览。

学习目标

完成本章后，你应当能够：

1. 用一句话解释「单模态局限」的本质，并举例说明它在实际产品中的具体表现
2. 给出多模态大模型（MLLM）的工作定义，并区分它与「多模态模型」「视觉-语言模型」的边界
3. 复述多模态发展的三个关键阶段：判别式融合 → 对比对齐 → 生成式大模型
4. 说出 CLIP、BLIP、Flamingo、LLaVA、GPT-4V 等代表性工作各自解决的核心问题
5. 在面对一个新发布的多模态模型时，能快速判断它属于哪一代、解决什么问题

核心概念速览

• 模态（Modality）：信息的某种载体形式，如图像、文本、音频、视频、点云、表格
• 单模态模型：只处理一种模态输入、输出同种或单一任务结果的模型
• 多模态大模型（MLLM）：以大语言模型为中枢，能够接收/生成多种模态的大规模预训练模型
• 对齐（Alignment）：让不同模态的表示进入同一语义空间，使「猫的图」与「猫这个词」向量相近
• 融合（Fusion）：让对齐后的表示在计算图中真正交互，以完成跨模态推理任务
• 零样本（Zero-shot）：模型未在该任务上微调也能直接推理，是多模态大模型的标志性能力

子章节导览

本章共 4 个子节，按「问题—定义—历史—前沿」的逻辑展开：

• 1.1 单模态模型的天花板 —— 从医疗影像、自动驾驶、内容审核三个真实场景出发，揭示单模态模型无法跨通道理解的根本困境
• 1.2 多模态大模型的核心定义 —— 给出严格定义，区分「任意到任意」（Any-to-Any）与「图/文到文」（Image/Text-to-Text）两条技术路线，并归纳五大能力
• 1.3 多模态发展简史与技术演进 —— 把 2014 至今的代表性工作划分成三个阶段，建立后续章节的索引地图
• 1.4 SOTA 前沿速览 —— 对比 GPT-4o、Gemini 2.x、Claude 3.5 Sonnet 视觉三大闭源旗舰，并提点开源代表

四个子节之间是层层递进的：1.1 制造需求，1.2 给出概念框架，1.3 用历史脉络把概念落到具体模型，1.4 拉到当下让你看到这套范式的最新形态。读完本章，你就握住了整份教程的地图。

前置知识与后续衔接

前置知识：无硬性要求，了解神经网络基本概念即可。

后续衔接：

• 第2章会把视角收束到 Transformer——多模态大模型真正的「通用算子」
• 第3章将进入「视觉编码器」，开始动手拆解第一个具体组件
• 本章 1.3 节给出的三阶段历史，会成为后续每章开头都会回扣的「坐标轴」

章节知识图谱