第6章 高级应用场景
第 6 章 · 高级应用场景
章节摘要：模型跑起来了、接口也熟了，接下来解决"拿它做什么"。这一章讲三类最典型的高级应用：RAG 检索增强生成——给模型装一副实时校准的认知眼镜，让它基于你的文档回答而不是凭空编造；Agent 与工作流——把模型变成可调度、可编排、可容错的认知单元，完成多步复杂任务；多模态模型应用——让模型"看见"图片，从感知到理解。读完本章，你能基于本地模型搭一个带知识库的问答应用，并理解 Agent 工作流的骨架。
读前必看（上）
阅读完本章，你应当能够：
- 说清 RAG 的三重解耦思想与基本流水线
- 用 Ollama 的嵌入接口配合本地向量库搭一个最小 RAG
- 描述 Agent 的四个构成性条件与闭环工作流
- 理解 Ollama 作为 Agent 运行时相比进程内加载的优势
- 解释多模态请求的传输方式与视觉 token 的拼接原理
- 判断什么场景适合 RAG、Agent 或多模态
核心概念速览
金句：RAG 让模型不再"记住一切"，而是为其配备一副实时校准的认知眼镜——把上下文感知从参数内隐推向证据外显。
三类应用的能力递进
三个让你眼前一亮的能力
这一章你会解锁三个具体能力，提前预告：第一，把一份公司内部手册扔进系统，同事就能用自然语言问"报销流程是什么"且答案带原文出处——这是 RAG 给知识库带来的质变；第二，让模型自动完成"搜索资料 → 提取要点 → 生成周报"三步动作而不用你一步步指挥——这是 Agent 的价值；第三，上传一张电路板照片，模型直接说出哪个元件有虚焊——这是多模态的感知能力。三样合起来，本地模型就从"聊天工具"变成了"能干活的下属"。
子章节导航
6.1 RAG 检索增强生成集成
RAG 的三重解耦、嵌入生成的机理与工具链（嵌入模型、向量库选型），以及从问答增强到动态提示工程、多源决策编织的应用谱系。
6.2 Agent 与工作流构建
Agent 的再定义、闭环工作流的状态与韧性设计、Ollama 作为模型服务总线的价值，以及 LangChain/CrewAI 等框架的集成方式。
6.3 多模态模型应用
跨模态对齐的认知内核、Ollama 多模态运行时的四层抽象、图像传输的效率与安全权衡，以及从任务助手到创意伙伴、认知反思伙伴的应用光谱。
子章节之间的逻辑关系
6.1 让模型懂知识 ──► 6.2 让模型会干活 ──► 6.3 让模型能看见
三类应用复杂度递进：RAG 是单步增强，Agent 是多步编排，多模态是感知通道扩展。它们也常组合使用——Agent 里可以调用 RAG，多模态模型可以做视觉 RAG。
这一章解决的真实问题
很多人的模型用起来"只会聊天"，价值没有真正释放。这一章就是回答"还能拿它做什么"。第 6.1 节解决的是信任问题——怎么让模型基于你自己的文档回答，而不是靠训练数据里的旧知识编造（RAG 的核心价值）。第 6.2 节解决的是能力边界问题——怎么让模型不只回答一个问题，而是完成"查资料 → 算数据 → 写报告"这样的多步任务（Agent 的核心价值）。第 6.3 节解决的是感知维度问题——怎么让模型理解图片内容（多模态的核心价值）。三个能力叠加起来，本地模型才真正从"聊天玩具"变成"生产力工具"。
一个容易误判的点
有人觉得"RAG 就是接个向量数据库，Agent 就是调个框架"，把这两节当成工具教程跳过了原理。这个误判的代价会在调试时暴露：RAG 检索结果不好，你不知道问题出在切片粒度、嵌入模型还是检索参数；Agent 执行出错，你分不清是规划器理解错了目标还是工具契约不匹配。所以本章坚持先讲透原理（为什么需要、机制是什么），再给实践要点（工具怎么选、参数怎么定）。原理部分读得快、实践部分多动手，是本章最省力的打开方式。
组合使用的思路
三类应用不是孤立的。一个典型的组合是：用 RAG 把公司文档变成可检索知识库，再用 Agent 编排"检索 → 汇总 → 生成周报"的工作流，如果文档里有图片，多模态模型还能参与"看图提取信息"。第 6 章末尾你能看到，这三个能力是互相增强的。建议学完每节都做一个最小演示：RAG 做"基于一份文档回答问题"，Agent 做"自动查两个事实后汇总"，多模态做"上传一张图让它描述"。每个演示 10 分钟内能完成，但带来的体感远超纯阅读。
选型判断速查
| 需求 | 首选能力 | 典型产出 |
|---|---|---|
| 基于内部文档回答 | RAG | 带原文出处的问答 |
| 多步任务自动完成 | Agent | 检索+计算+汇总报告 |
| 理解图片内容 | 多模态 | 图像描述 / 质检判断 |
| 三者叠加 | 组合使用 | 知识库 + 工作流 + 视觉 |
⚠️ 常见误区：把 RAG 当"装了就灵"。检索质量、切片策略、提示构造都要反复调，demo 好跑、生产难做——别被"一条代码跑通"的标题党骗了。
💡 关键直觉：RAG 解决"知识过时"，Agent 解决"能力单一"，多模态解决"感知缺失"——三者补的是模型的不同短板，所以能叠加。
前置知识与后续延伸
- 前置知识：第 4 章 API 与 SDK；第 3 章的模型选择
- 后续延伸：第 7 章安全与部署——这些应用要对外服务时，需要网络、安全与容器化的保障
读完本章的验收标准
三件事。第一，你能说清 RAG 的完整流水线（切块 → 嵌入 → 检索 → 增强生成），并能指出其中任意环节出问题时的排查方向。第二，你能画出一个最小 Agent 的闭环（目标 → 规划 → 执行 → 反思），并说明它和"调 API"的本质区别。第三，你能用多模态模型处理一张真实图片，并理解"模型看到的是经过预处理的视觉契约"这句话的含义。三个都过，高级应用的地基就打牢了。
一些提个醒的事
RAG 和 Agent 都是"易上手、难精通"的领域——跑通 demo 容易，做好生产级效果需要大量迭代。别被"一条代码跑通 RAG"的标题党误导，实际落地时检索质量、切片策略、提示工程都是要反复调的。第 6 章的定位是给你正确的起点和排查框架，真正的深度要靠你在自己的数据上积累。