7.5 SOTA 前沿速览

文档摘要

7.5 SOTA 前沿速览本节速览当代多模态大模型的对齐方法实践。这些模型大多采用「预训练 → SFT → DPO/RLHF」三段式，但具体细节各有创新。一、对齐方法的全景二、LLaVA-NeXT：开源对齐的标杆 LLaVA-NeXT 在 SFT 基础上加入 DPO： LLaVA-NeXT 的对齐流程关键数据 LLaVA-RLHF：人类标注的事实性偏好 RLAIF-V：GPT-4V 生成的偏好对 VLFeedback：AI 反馈的多模态偏好数据效果 DPO 让 LLaVA-NeXT 在 POPE 等幻觉基准上显著改善，回答质量更接近 GPT-4V。三、Qwen-VL 系列：中文对齐的深耕阿里的 Qwen-VL 系列在中文场景对齐上有独特优势。

7.5 SOTA 前沿速览

本节速览当代多模态大模型的对齐方法实践。这些模型大多采用「预训练 → SFT → DPO/RLHF」三段式，但具体细节各有创新。

一、对齐方法的全景

二、LLaVA-NeXT：开源对齐的标杆

LLaVA-NeXT 在 SFT 基础上加入 DPO：

LLaVA-NeXT 的对齐流程


1. 视觉-语言预训练 (558K 字幕)
2. 指令微调 (100 万+ 指令数据)
3. DPO 对齐 (RLAIF-V 等偏好数据)

关键数据

LLaVA-RLHF：人类标注的事实性偏好
RLAIF-V：GPT-4V 生成的偏好对
VLFeedback：AI 反馈的多模态偏好数据

效果

DPO 让 LLaVA-NeXT 在 POPE 等幻觉基准上显著改善，回答质量更接近 GPT-4V。

三、Qwen-VL 系列：中文对齐的深耕

阿里的 Qwen-VL 系列在中文场景对齐上有独特优势。

Qwen2-VL 的对齐特点

中文指令数据：大量中文场景的人工与 GPT-4V 生成数据
多任务对齐：同时优化对话、推理、文档理解等
DPO + RLHF 混合：结合两种方法的优势
文化适配：考虑中文用户的使用习惯

Qwen2-VL 的成就

在中文多模态基准（CMMMU、MMBench-CN）上达到 SOTA
文档、OCR、视频理解能力突出
接近 GPT-4V 的整体水平

四、InternVL 2：规模化对齐

上海 AI Lab 的 InternVL 2 系列：

对齐特点

大规模视觉编码器（InternViT-6B）单独预训练 + 指令微调
多任务 SFT：覆盖 VQA、OCR、文档、推理等
DPO 优化：用 AI 反馈偏好数据
多规模对齐：1B/2B/4B/8B/26B/40B/76B 都做对齐

InternVL 2 的工程价值

验证了「大视觉编码器 + 充分 SFT + DPO」路线
在多个基准上达到开源 SOTA
多规模覆盖让用户按需选择

五、MiniCPM-V：端侧对齐

面壁智能的 MiniCPM-V 系列证明小模型也能做好对齐：

对齐特色

小模型 + 高质量数据：2-8B 参数 + 精选数据
DPO 优化：减少幻觉、提升指令跟随
量化友好：对齐后仍能 4bit/2bit 量化部署

MiniCPM-V 的成就

在 8B 规模下达到接近 LLaVA-NeXT 34B 的效果
端侧部署（手机、PC）实测可用
在中文场景表现优异

六、mPLUG-Owl3：高效对齐

阿里的 mPLUG-Owl3 在效率上做文章：

对齐特点

高效注意力：Hyper-Attention 减少长序列开销
DPO + 多任务对齐
视频对齐：针对长视频场景的偏好优化

mPLUG-Owl3 的工程价值

长视频理解效率高
多图、文档场景表现好

七、CogVLM：视觉专家的对齐

智谱的 CogVLM：

对齐特色

视觉专家模块：LLM 每层插入视觉专家分支
多任务 SFT + DPO
强 grounding 能力：对齐阶段强化视觉定位

CogVLM 的成就

在视觉 grounding、指代表达等任务上突出
中文场景对齐质量好

八、闭源模型的对齐实践（推测）

GPT-4V / GPT-4o（推测）

OpenAI 大概率使用：

大规模人工偏好数据（数千万对）
多轮 RLHF（PPO）
在线学习（用户反馈持续优化）
多目标对齐（准确性、安全性、有用性）

Claude 3.5（推测）

Anthropic 的 Constitutional AI：

AI 自我批评（用 LLM 评估自己的回答）
减少 human 标注成本
多维度宪法（Constitution）指导对齐

Gemini（推测）

Google 用大规模 RLHF + 多模态偏好数据，对齐质量与 GPT-4 相当。

九、当代对齐方法对比

模型	SFT 数据量	对齐方法	对齐数据	特色
LLaVA-NeXT	100 万+	DPO	RLAIF-V + VLFeedback	开源标杆
Qwen2-VL	数百万	DPO + RLHF	阿里内部	中文深耕
InternVL 2	数百万	DPO	AI 反馈	多规模对齐
MiniCPM-V	数百万	DPO	高质量小数据	端侧
mPLUG-Owl3	数百万	DPO	阿里内部	长视频
CogVLM	数百万	DPO	智谱内部	grounding
GPT-4o	未公开	RLHF（推测）	OpenAI 内部	闭源旗舰

十、对齐方法的演化趋势

观察 SOTA，对齐方法的演化方向：

趋势一：从 RLHF 到 DPO 主导

RLHF 工程门槛太高，DPO 让中小团队也能做对齐。当代开源模型几乎都用 DPO 或其变体。

趋势二：从人类反馈到 AI 反馈

RLAIF、VLFeedback 等让 AI 当裁判，大幅降低标注成本。质量略低于人工但可规模化。

趋势三：从单目标到多目标

不再只优化「好 vs 坏」，而是分别对齐准确性、流畅性、安全性等多个维度。

趋势四：从结果对齐到过程对齐

PRM 等方法不只奖励最终回答，还奖励推理过程。适合数学、推理任务。

趋势五：从云端到端侧

MiniCPM-V 等让对齐能力下沉到端侧，手机也能跑对齐过的多模态大模型。

十一、对齐的开放问题

当代对齐仍面临几个开放问题：

问题一：评估难

如何客观评估对齐质量？人工评估昂贵，自动指标（LLM-as-Judge）有偏见。

问题二：价值观差异

不同文化、不同用户对「好回答」定义不同。单一对齐难以满足所有用户。

问题三：过对齐

模型可能过度谨慎，拒绝正常请求（过拒）。LLaVA-NeXT 等都遇到过这种问题。

问题四：长尾任务

对齐数据覆盖有限，对齐模型在长尾任务（医学、法律等）效果仍差。

问题五：对抗鲁棒性

用户可以通过 prompt 注入、对抗样本绕过对齐。多模态场景的对抗更复杂（图像 + 文本）。

十二、对齐与未来多模态大模型

对齐是多模态大模型走向大规模商用的最后一公里：

未对齐的模型可能产生幻觉、不安全内容、不符合用户预期
对齐后的模型才能用于生产环境

OpenAI、Anthropic、Google 等大厂投入大量资源做对齐，这是它们相对开源的核心优势之一。开源社区正在通过 DPO、RLAIF 等方法快速追赶。

未来对齐研究的关键方向：

更高效的对齐方法（降低成本）
更细粒度的偏好表达
个性化对齐（按用户调整）
多模态原生对齐（不分别对齐不同模态）
持续在线对齐（部署后继续优化）

小结

当代多模态大模型的对齐实践呈现「DPO 主导 + AI 反馈 + 多目标」的格局。LLaVA-NeXT、Qwen2-VL、InternVL 2、MiniCPM-V 等开源模型用 DPO 在中小算力下达到了不错的对齐效果，但仍落后于 GPT-4o、Claude 等大规模 RLHF 的闭源模型。对齐方法正在从复杂 RLHF 走向简化 DPO，从人类反馈走向 AI 反馈，从单目标走向多目标。

第7章到此结束。下一章（第8章）我们终于进入应用层——看经过预训练、SFT、对齐的多模态大模型如何支撑 VQA、文生图、文生视频、Agent 等端到端任务。