4.2低秩适应（LoRA）与变体（QLoRA、QA-LoRA）

文档摘要

4.2 低秩适应（LoRA）与变体（QLoRA、QA-LoRA） 4.2.1 LoRA 4.2.1.1 LoRA 介绍 4.2.1.2 LoRA 在框架结构角度上叙述 4.2.1.3 LoRA 的数学解释 4.2.1.4 实现LoRA（伪代码） 4.2.1.5 LoRA 降低参数量计算 4.2.1.6 LoRA 降低推理开销计算 4.2.1.7 初始化和缩放 4.2.1.8 LoRA 的实际影响 4.2.1.9 代码实战 4.2.1.10 模型评估 4.2.2 QLoRA 4.2.2.1 QLoRA 介绍 4.2.2.2 QLoRA 的数学解释 4.2.2.3 QLoRA 代码实战 4.2.2.4 模型评估 4.2.3 QA-LoRA 4.2.3.1 QA-LoRA 介绍 4.2.3.