1.4 SOTA 前沿速览

1.4 SOTA 前沿速览

本节把镜头拉到 2024–2026 的当下，对三大闭源旗舰与若干开源代表作一次全景速览。本章是导论，速览偏宏观对比；后续每章末都会有更聚焦的 SOTA 速览页（如第3章末会专讲视觉编码器 SOTA）。

说明：闭源模型的具体架构细节通常不公开，本节描述基于各厂商发布的官方技术报告与公开材料，对未公开部分会明确标注「推测」，避免误导。

一、闭源三大旗舰对比

下面分别简评。

1. GPT-4o：端到端原生多模态

GPT-4o 中「o」代表 omni（全能）。其最大突破是不再先用 ASR 把语音转文字、再用 LLM 处理、最后用 TTS 转回语音这种级联架构，而是用一个统一模型直接处理所有模态。这带来三个工程价值：

• 延迟大幅下降：语音对话平均响应时延降到约 320 毫秒，接近人类对话节奏
• 情感保留：能听出说话人语气、能生成带情绪的语音，不再被 ASR 信道丢失
• 跨模态推理：可以直接「看着视频讲解」，无需先把视频帧描述成文本

架构层面 OpenAI 未公开细节，但根据其技术报告可推测：模型内部存在统一的 token 化机制，把图像、音频、文本都压成同一空间中的离散 token，再由一个统一的 Transformer 处理。这与本教程第8章会讲的「Any-to-Any」路线一致。

2. Gemini 2.x：原生多模态 + 长上下文

Google 的 Gemini 系列从一开始就按原生多模态设计，不沿用「视觉编码器 + LLM」的拼装范式。Gemini 2.x 的几个公开亮点：

• 超长上下文：支持百万 token 级别输入，可以一次性喂入整部电影或多本教科书
• 多模态生成：可以直接输出图像（结合 Imagen 系列能力）
• 原生视频理解：能把视频视为时空序列直接处理，而非拆成帧再聚合

从工程视角看，Gemini 路线的最大意义是证明了「从头联合训练」在大算力 + 大数据下可以跑通，且效果不输拼装路线。但其训练数据、模型结构、对齐流程的细节均未公开。

3. Claude 3.5 Sonnet：以文档与图表见长

Anthropic 的 Claude 系列在多模态上偏保守——主攻「图+文→文」路线。其特色是：

• 文档与图表理解极强：能在复杂的 PDF、流程图、手写笔记中精确提取信息
• 视觉推理细节丰富：在图表问答、代码截图转代码等任务上口碑极好
• 不生成图像/语音：输出仍以文本为主，避免幻觉风险

从公开行为看，Claude 大概率走的是「视觉编码器 + 强 LLM + 高质量视觉指令微调数据」的经典 LLaVA 路线，但用了远超开源的标注质量与对齐策略。

二、开源代表速览

闭源模型虽然能力强，但无法私有部署、不可微调、不透明。开源生态在 2023 年后蓬勃发展，形成了几个代表性系列：

每个系列的具体架构差异，会在对应章节展开。例如 LLaVA 的细节在第7章，Qwen-VL 的动态分辨率在第3章末，InternVL 的大规模视觉编码器在第3章末。

三、本节的小观察

把 SOTA 模型摆在一起，可以观察到几个趋势：

1. 从「拼装」走向「原生」：早期 LLaVA、BLIP-2 是「视觉编码器 + LLM」的工程拼装，GPT-4o、Gemini 走向端到端联合训练
2. 从「静态图像」走向「时空视频」：所有旗舰都把视频理解作为标配能力
3. 从「单轮问答」走向「多模态 Agent」：模型不仅回答问题，还能调用工具、操作界面、生成内容
4. 从「大参数」走向「端侧可用」：MiniCPM-V 等小模型让多模态大模型跑在手机上成为可能
5. 从「英文为主」走向「多语言均衡」：中文场景下 Qwen-VL、InternVL、CogVLM 已不输闭源

四、阅读建议

面对层出不穷的新模型，建议建立三种判断视角：

• 看路线：是拼装式还是原生式？输出是单模态还是多模态？
• 看组件：视觉编码器是什么？投影器是线性层、Q-Former 还是 Cross-Attention？
• 看训练数据：用了多少图文对？指令微调数据怎么来？有没有做 RLHF？

带着这三个视角去读任何新模型的技术报告，你都能很快定位它的贡献与局限。

小结

2024–2026 的多模态大模型已经进入「原生多模态 + 长上下文 + Agent 化」的成熟期。闭源旗舰在能力上仍领先，但开源生态的迭代速度极快，差距正在以季度为单位缩小。

第1章到此结束。下一章（第2章）我们回到地基，把贯穿所有这些模型的「通用算子」—— Transformer——拆解清楚，为后续讨论视觉编码器、对比学习、跨模态融合奠定基础。