AI 与大模型 · 第 9 期 · 第二季第 1 期

RAG 还是微调,90% 的人选错了

检索增强生成 vs 全参/PEFT 微调 · 决策框架

一句话结论:知识要更新用 RAG,行为要改变用微调。90% 的人把"想让模型知道新东西"误当成微调任务,结果花一周训完,问它还是答旧的——因为微调不擅长注入事实,它擅长改变风格与格式。先问自己:我要的是"知道"还是"会做"?
⏱ 约 9 分钟 🎯 想让模型用上新知识/新风格的人 📦 源:ai-engineering-from-scratch §12

01反共识:微调不是用来"塞知识"的

很多人想"让模型知道公司文档",第一反应是微调。这是最常见的错。

微调改变的是模型的行为分布——回答的格式、语气、推理方式。它不擅长记住具体事实:你把 1000 条 QA 灌进去,模型学到的是"这种问题该这么答"的模式,而不是"张三的工号是 1024"这条事实。换个问法就答错,因为它没真的存下事实,只是拟合了训练分布。

RAG 才是干这个的:把文档切块、向量化、检索 top-k 塞进上下文,模型看着原文答。事实可更新、可溯源、可撤回——改文档就改答案,不用重训。知识更新走 RAG,行为改变走微调,这是第一条决策线。

微调改变行为,
RAG 注入事实,
别用错工具。
灏天文库 · AI 与大模型 P.26

02RAG vs 微调决策器

选你的场景,看该用 RAG、微调、还是两者都要。

🔀 RAG vs 微调 决策器
回答 4 个问题,给出推荐方案与理由。

RAG

检索增强

微调

SFT/LoRA

03什么时候两者都要

真实项目里,RAG + 微调经常组合,但顺序很重要:先 RAG 把效果跑通,看瓶颈在哪,再决定要不要微调。

一个判断信号:如果你的需求是"答得更像我们公司的风格",微调;如果是"答的内容要准、要新、要能改",RAG。两个都要时,RAG 兜底事实,微调优化表达。

先 RAG 跑通,
再微调补短板,
别反过来。
灏天文库 · AI 与大模型 P.27

04带走这套决策清单

✅ RAG vs 微调 6 条决策规则

  1. 知识更新用 RAG:改文档就改答案,不用重训,可溯源。
  2. 风格/格式改变用微调:教模型"怎么答",不是"答什么"。
  3. 新技能/推理方式用微调:如代码生成、结构化输出、特定推理链。
  4. 领域术语适配用微调+少量 RAG:术语靠微调,事实靠 RAG。
  5. 顺序:先 RAG 跑通,再微调补短板,别先微调。
  6. 高频变化的知识绝不微调:微调成本高且不可即时更新。
要"知道"用 RAG,
要"会做"用微调。
灏天文库 · AI 与大模型 P.28