第8章 前沿应用与生成

第8章 前沿应用与生成

章节摘要

经过前七章的逐层铺垫——视觉编码器、文本编码器、对比对齐、跨模态融合、预训练任务、指令微调与对齐——我们终于拥有了能看懂图像、听懂指令、按人类偏好回答的多模态大模型（MLLM）。本章把这些技术能力落地到具体应用，覆盖四大方向：视觉问答（VQA）与图像理解，看模型如何回答关于图像的开放性问题；文生图（Text-to-Image），看 Stable Diffusion、DALL-E、FLUX 等如何用 Diffusion + LLM 把文字变成图像；文生视频（Text-to-Video），看 Sora 范式如何用 DiT（Diffusion Transformer）生成长达一分钟的高质量视频；多模态 Agent 与具身智能，看模型如何作为决策中枢调用工具、操作界面、控制机器人。我们会用 SVG 与 Mermaid 图分别刻画 Diffusion + LLM 架构、Sora 的 DiT 架构、Agent 工作流。章末提供 Sora、Stable Diffusion 3、FLUX、Pika、Runway 等生成模型的 SOTA 速览。掌握本章后，你将理解多模态大模型不只是「能聊天的助手」，而是正在重塑创意、内容、自动化等多个产业的通用智能底座。

学习目标

完成本章后，你应当能够：

1. 说出 VQA 任务的输入输出格式，以及它相比传统图像分类的开放性体现在哪里
2. 画出 Stable Diffusion 的完整架构，解释 CLIP 文本编码器、U-Net、VAE 三者的协作关系
3. 解释 Diffusion 模型的前向加噪与反向去噪过程，写出 DDPM 的核心公式
4. 说出 Sora 的 DiT 架构相比传统 U-Net Diffusion 的两个关键差异
5. 复述多模态 Agent 的基本工作循环（感知 → 规划 → 行动 → 观察）
6. 在面对一个新的多模态应用需求时，能判断它属于哪一类、需要什么样的技术栈

核心概念速览

• VQA（Visual Question Answering）：视觉问答，给图像 + 问题，输出答案
• Diffusion 模型：通过逐步加噪与去噪学习生成分布的模型
• U-Net：Diffusion 模型的主流去噪网络，基于 CNN 的编码器-解码器结构
• DiT（Diffusion Transformer）：用 Transformer 替代 U-Net 的 Diffusion 变体，Sora 的核心
• VAE（Variational Autoencoder）：变分自编码器，用于在像素空间与潜在空间之间转换
• Latent Diffusion：在 VAE 潜在空间而非像素空间做 Diffusion，大幅降低计算成本
• Classifier-Free Guidance：无分类器引导，让生成结果更贴近文本条件
• 多模态 Agent：以 LLM/MLLM 为决策中枢，能调用工具、操作界面的智能体
• 具身智能（Embodied AI）：与物理世界交互（如机器人）的 AI 系统
• ReAct：Reasoning + Acting，Agent 边推理边行动的范式

子章节导览

本章共 6 个子节，按「理解 → 静态生成 → 动态生成 → 自主行动 → 前沿」的逻辑展开：

• 8.1 视觉问答 VQA 与图像理解 —— VQA 任务定义、推理类型、当代 VQA 模型架构
• 8.2 文生图：Diffusion 与 LLM 结合 —— Stable Diffusion 架构、Diffusion 数学原理、Latent Diffusion
• 8.3 文生视频架构：Sora 范式 —— DiT 架构、时空 token、视频生成的挑战
• 8.4 多模态 Agent 与具身智能 —— Agent 工作循环、ReAct 范式、机器人控制
• 8.5 SOTA 前沿速览 —— Sora、SD3、FLUX、Pika、Runway、Gemini 等速览

子节之间是「理解（8.1）→ 单帧生成（8.2）→ 时序生成（8.3）→ 自主行动（8.4）」的递进，每一节都比前一节更复杂、更接近通用智能。

前置知识与后续衔接

前置知识：

• 第1-7章的所有内容（本章是这些技术的综合应用）
• 特别是第5章的融合架构（VQA 直接使用）、第7章的对齐方法（应用层需要听话的模型）

后续衔接：

• 第9章总结展望，讨论这些应用的未来方向
• 本章涉及的所有应用都是当下商业化最活跃的领域

本章是整份教程的应用高潮——前面七章的所有理论，最终在这里变成可以触摸的产品。

章节知识图谱