第三章 进阶原理与优化策略

第三章 进阶原理与优化策略

导读：会用 LoRA/QLoRA 跑通一次训练，和"调得好"之间是巨大的鸿沟。这一章我们越过"能跑"，进入"怎么调才不翻车"的领地：学习率、rank、alpha 的耦合关系，梯度相关的不稳定如何化解，以及显存与效果的取舍曲线。

第三章面向的是"已经跑通过一次，但效果不满意"的读者。我们会用大量对照实验的视角，告诉你哪些超参是敏感项、哪些几乎不影响结果，帮你把宝贵的实验预算花在刀刃上。

本章你将学到

• rank 与 alpha 的真实关系：alpha 不等于 rank，它们如何共同决定"适配器信号强度"
• 学习率陷阱：LoRA 的学习率往往比全量微调高一个数量级，为什么
• 梯度相关（Gradient Lévy）与训练不稳定的诊断与缓解
• 显存—效果权衡：在有限显存下，是先保 batch size 还是先保序列长度

章节导航

• 3.1 超参数深解：rank、alpha、学习率的耦合与取舍
• 3.2 训练稳定性与显存优化策略

本章立场

我们主张：不要把超参搜索当成玄学。绝大多数"调不好"的案例，都能归因到三五个被忽视的耦合关系上。本章的目标，是让你在调参前先有假设、再去做实验验证，而不是盲目网格搜索烧显卡。

小结

进阶的本质是"建立因果假设"。当你能说出"我把 rank 从 8 调到 32，预期会提升表达能力但增加过拟合风险，所以同步加了 dropout"，你就已经超越了大多数只会抄配置的玩家。第四章我们将把这些原则落到真实行业案例里。