第一章 基础认知与准备 导读:很多人一上来就问"LoRA 怎么配参数",但事实证明,90% 的微调失败都源于对问题本身的误判——到底要不要微调?用什么方法?显卡够不够?这一章我们先把地基打牢:搞清楚 LoRA 与 QLoRA 解决的本质问题,看清 GLM-5.2 这类大模型的微调成本账,并手把手把环境搭好。读完这一章,你应该能回答三个问题:我该不该微调、我该用 LoRA 还是 QLoRA、我的机器能不能跑得动。 本章是整个教程的"世界观"章节。它不教你敲命令,而是帮你建立一套判断框架:在后面的核心原理、进阶优化与实战案例里,你遇到的每一个工程选择,根源都在这章的概念里。建议不要跳读。
导读:很多人一上来就问"LoRA 怎么配参数",但事实证明,90% 的微调失败都源于对问题本身的误判——到底要不要微调?用什么方法?显卡够不够?这一章我们先把地基打牢:搞清楚 LoRA 与 QLoRA 解决的本质问题,看清 GLM-5.2 这类大模型的微调成本账,并手把手把环境搭好。读完这一章,你应该能回答三个问题:我该不该微调、我该用 LoRA 还是 QLoRA、我的机器能不能跑得动。
本章是整个教程的"世界观"章节。它不教你敲命令,而是帮你建立一套判断框架:在后面的核心原理、进阶优化与实战案例里,你遇到的每一个工程选择,根源都在这章的概念里。建议不要跳读。
如果你手里有一张 8G、16G 或 24G 的显卡,想让 GLM-5.2 学会你所在领域的术语和口吻,却被告知"全量微调至少要 80G 显存",那么这本教程就是为你写的。我们默认你已经会用 Python 和 PyTorch 做基本的模型推理,但不需要你有过微调经验。
在动手之前,先记住下面这条决策链,它会反复出现:
理解了这个顺序,你就理解了为什么本书第 1 章先讲认知、第 2 章再讲模块、第 3 章才讲参数——因为我们想让你成为一个会做取舍的人,而不是一个只会抄配置的人。
低成本微调不是"更便宜的全量微调",而是一种全新的范式:它承认我们大多数人都负担不起全量微调,于是转而只训练极少参数、或把模型压到 4-bit 后再训练。理解了这一点,你在后续章节遇到的每一个工程选择,都会变得顺理成章。下一节我们将从"全量微调为什么不可行"这个具体痛点讲起。