第八章 · 进阶场景：多模态、LoRA 与本地 RAG

第八章 · 进阶场景：多模态、LoRA 与本地 RAG

章节摘要：全册主线的收官三战：给这台旧笔记本装上看图的能力、换性格的能力、以及接上私有知识的能力。多模态推理跑通视觉问答，LoRA 适配器实现运行时热切换，本地检索增强把「小窗口」变成「大知识库」。读完这一章，你对 llama.cpp 的理解将从「会用一个工具」升级为「掌握一套可以生长的本地智能底座」。

一条主线

收官主线是一次完整的「个人知识助手」组装：2060 小本作为常驻主机，先让它能看图——发一张架构图就能提问（8.1）；再让它能换性格——不同领域的 LoRA 适配器按需挂载，一个底盘多个专长（8.2）；最后让它接入私有文档库——三万字的团队手册不占窗口也能随问随答（8.3）。三场战斗层层递进：能力在变广，但底盘始终是前七章搭好的那台机器、那个 Q4_K_M 主力模型、那套三本显存账。收官的同时，这一章也回答全册最后一个战略问题：这个生态会往哪里去，你的技能该怎么跟着长。

沿途站点

8.1 多模态推理——视觉投影器如何把图片变成模型认得的「视觉 token」，多模态 GGUF 的组成结构，以及在本机跑通看图问答的完整记录。

8.2 LoRA 适配器——低秩适配的原理为什么允许「一个底盘多副面孔」，适配器的加载、叠加与热切换实验，以及自制适配器的产线流程。

8.3 本地 RAG——检索增强为什么是「小模型加大知识」的正确姿势，从切块到向量库到引用生成的极简管线，兼作全册生态与趋势的收束。

拐点与结论

收官章的拐点是一次视角翻转：前三章我们一直在「迁就」这台旧机器——压位宽、省显存、抠窗口，而本章的三场实验证明，架构设计的巧思可以把短板变成设计空间：多模态用视觉投影器绕开了「图像要多大显存」的死账；LoRA 用低秩矩阵绕开了「微调要全量训练」的死账；RAG 用检索绕开了「知识要装进窗口」的死账。三个「绕开」背后是同一个思想——不在受限资源上硬扛问题，而是换一个问题表述。这也是对全册的最佳总结：llama.cpp 的每一项设计（量化、分层、缓存管理）都是这个思想在工程上的具体化。

收官能力对照

三场收官实验的账目预期先给结论：多模态加装（8.1）需增配视觉投影器文件，几百 MB 到 1GB，另按每图几百到上千 token 预扣窗口；LoRA 换装（8.2）每个适配器仅几十到几百 MB，显存增量几乎可忽略，加载以秒计；本地检索（8.3）的向量库放在磁盘与内存，生成侧窗口开销恒定为「问题加几段引文」。三项能力全部落在既有 6GB 预算之内——这是对前七章方法论的一次总验收。

本章知识点清单

可考核知识点如下：画出多模态双文件结构与视觉 token 的生成路径；按每图约 800 token 为看图请求做窗口预算；解释 LoRA 低秩适配「冻结底盘加两片小矩阵」的原理与显存账；完成适配器的加载、缩放、叠加与热切换各一次；说出适配器「调倾向不补知识」的边界；搭建从切块到引用生成的极简检索管线并执行上线验收清单；回答「长窗口、检索、微调三条路线各适合什么知识形态」。七条过关，全册毕业。

延伸方向

收官章的三场实验各自通向一个更深的领域：多模态通往视觉语言模型的专门研究，LoRA 通往参数高效微调的系统方法，RAG 通往检索与知识工程的完整学科。本章只负责把入门的门推开一条缝——门后的世界，请带着全册的方法论（基线、对照、账本、验收）继续探险，那套方法在任何新领域都直接可用。

读完你应该

• 能解释视觉 token 与多模态 GGUF 的双文件结构，并在本机跑通看图问答；
• 能说清 LoRA 低秩适配的原理与显存账目，完成适配器加载与热切换；
• 能搭建从文档切块到引用生成的极简本地检索管线；
• 能针对「私有知识问答」需求做出窗口方案与检索方案的取舍判断；
• 能带着全册的实验方法，独立跟进这个快速演进生态的新特性。

主线的终点

到这里，全册主线走完：从第 1 章回答「该不该用」，到本章回答「能长成什么」。那台 2019 年的旧笔记本最终变成了一台多模态、多性格、通晓私有知识的常驻助手——每一步都没有花一分钱硬件预算，全部依靠对工具的深度理解与亲手实验。这套方法论比任何具体技巧都值钱：下一轮技术浪潮来临时，愿你仍然拿起第 4 章的编译命令与第 5 章的对账公式，从零把它跑通。