AI Engineering · 第 13 章 多模态 AI

AI Engineering · 第 13 章 多模态 AI

章节摘要:本章对应原课程「12-multimodal-ai」,属「第三篇·大模型工程」。让模型同时理解图像、文本、音频、视频。本章共 25 节,前置依赖为「第8、12章」。多模态的本质,是把不同模态映射到同一个语义空间。 本章将带你逐节吃透这一领域的核心概念,并尽量从零手工实现,再用主流框架对比验证。

学习目标

阅读完本章,你应当能够:

1. 理解多模态 AI在整个 AI 工程体系中的定位(让模型同时理解图像、文本、音频、视频)。
2. 掌握本章 25 节覆盖的核心概念与算法。
3. 能够从零实现本章的关键模型/机制,并用框架对比验证。
4. 说清本章与前后章节的依赖关系(前置:第8、12章)。
5. 识别本章主题在生产实践中的常见应用与陷阱。

注:具体学习目标将在各子节汉化时细化为可考核的能力点。

核心概念速览

多模态的本质,是把不同模态映射到同一个语义空间。

注:本章的 Mermaid 概念图将在支柱页完善时替换为本章核心架构/流程图(基于原 Phase README 与首节内容绘制)。

子章节导航

01 Vision Transformers and the Patch-Token Primitive

02 CLIP and Contrastive Vision-Language Pretraining

03 From CLIP to BLIP-2 — Q-Former as Modality Bridge

04 Flamingo and Gated Cross-Attention for Few-Shot VLMs

05 LLaVA and Visual Instruction Tuning

06 Any-Resolution Vision: Patch-n'-Pack and NaFlex

07 Open-Weight VLM Recipes: What Actually Matters

08 LLaVA-OneVision: Single-Image, Multi-Image, Video in One Model

...(本章共 25 节,详见原项目 phases/12-multimodal-ai/)

子章节之间的逻辑关系

本章共 25 节,按原课程的编号顺序递进。详细的逻辑关系图将在支柱页完善时补充(基于各节的依赖与铺垫关系)。

本章第 01 节 ... ──► 第 25 节
   │
   ▼
下一章(第 14 章)
​

前置知识与后续延伸

前置知识:

• 第8、12章

本章为后续章节奠定的基础:

• 见原课程 README 的 Phase 依赖图(原项目根 README.md)。

本章支柱页为骨架初稿,各板块将在对应章节汉化推进时细化。原英文内容位于 phases/12-multimodal-ai/,每节正文为 docs/en.md,汉化状态见「教程规划.md」的待汉化清单。