检索增强生成 vs 全参/PEFT 微调 · 决策框架
很多人想"让模型知道公司文档",第一反应是微调。这是最常见的错。
微调改变的是模型的行为分布——回答的格式、语气、推理方式。它不擅长记住具体事实:你把 1000 条 QA 灌进去,模型学到的是"这种问题该这么答"的模式,而不是"张三的工号是 1024"这条事实。换个问法就答错,因为它没真的存下事实,只是拟合了训练分布。
RAG 才是干这个的:把文档切块、向量化、检索 top-k 塞进上下文,模型看着原文答。事实可更新、可溯源、可撤回——改文档就改答案,不用重训。知识更新走 RAG,行为改变走微调,这是第一条决策线。
选你的场景,看该用 RAG、微调、还是两者都要。
真实项目里,RAG + 微调经常组合,但顺序很重要:先 RAG 把效果跑通,看瓶颈在哪,再决定要不要微调。
一个判断信号:如果你的需求是"答得更像我们公司的风格",微调;如果是"答的内容要准、要新、要能改",RAG。两个都要时,RAG 兜底事实,微调优化表达。