第二章 LoRA与QLoRA核心模块

文档摘要

第二章 LoRA 与 QLoRA 核心模块导读：如果说第一章帮你决定"用不用、用哪种"，那么这一章就是拆开引擎看零件。我们会逐行拆解 LoRA 那一对低秩矩阵 A、B 到底插在 GLM-5.2 的哪里，QLoRA 又是在 LoRA 之外多加了哪几层"压缩魔法"。读完这章，你不会再把这些名词当成黑盒。第二章是全书的技术心脏。我们坚持以"作者替你读过源码、做过取舍"的原则来讲：不堆公式，而是讲清楚每一处设计解决了什么工程痛点，以及你在动手时常犯的错误。本章你将学到 LoRA 的低秩分解数学直觉：为什么一个巨大的权重矩阵，可以被两个瘦长矩阵的乘积近似替代适配器（Adapter）在 GLM-5.

第二章 LoRA 与 QLoRA 核心模块

导读：如果说第一章帮你决定"用不用、用哪种"，那么这一章就是拆开引擎看零件。我们会逐行拆解 LoRA 那一对低秩矩阵 A、B 到底插在 GLM-5.2 的哪里，QLoRA 又是在 LoRA 之外多加了哪几层"压缩魔法"。读完这章，你不会再把这些名词当成黑盒。

第二章是全书的技术心脏。我们坚持以"作者替你读过源码、做过取舍"的原则来讲：不堆公式，而是讲清楚每一处设计解决了什么工程痛点，以及你在动手时常犯的错误。

本章你将学到

LoRA 的低秩分解数学直觉：为什么一个巨大的权重矩阵，可以被两个瘦长矩阵的乘积近似替代
适配器（Adapter）在 GLM-5.2 的 Transformer 层里具体挂在哪些位置（attention 的 q、k、v、o，还是 FFN）
QLoRA 的三大支柱：4-bit NormalFloat 量化、双重量化（Double Quantization）、分页优化器（Paged Optimizer）
一张消费级显卡上，LoRA 与 QLoRA 的显存账到底差多少，差在哪里

章节导航

2.1 LoRA 原理拆解：低秩适配器如何改造 GLM-5.2
2.2 QLoRA 原理拆解：4-bit 量化下的微调奇迹
2.3 模块选型与组合：rank、alpha、target_modules 怎样搭配

```mermaid graph LR subgraph LoRA[LoRA 改动] L1[冻结原权重 W] --> L2[旁路 A·B 低秩矩阵] end subgraph QLoRA[QLoRA 额外改动] Q1[4-bit NF4 量化基座] --> Q2[双重量化] --> Q3[分页优化器] end LoRA --> Out[训练后仅保存 A·B] QLoRA --> Out ```

为什么这章值得慢读

许多教程把 LoRA 与 QLoRA 讲成两句口号："LoRA 省参数、QLoRA 省显存"。但真正动手时你会发现，target_modules 配错就训练不动、量化精度选错就效果崩盘。本章的每一节都配有"踩坑提示"框，专门讲那些文档里不会写、但你会遇到的真实状况。

小结

LoRA 与 QLoRA 是同一个思想的两层递进：LoRA 让"训什么"变少，QLoRA 让"用什么精度训"变低。下一章我们不再满足于"会用"，而要深入参数层面的优化策略，让你知道 rank 设 8 还是 64、alpha 怎么配，背后都是有账可算的。