文档摘要

4.2 低秩适应（LoRA）与变体（QLoRA、QA-LoRA） 4.2.1 LoRA 4.2.1.1 LoRA 介绍 4.2.1.2 LoRA 在框架结构角度上叙述 4.2.1.3 LoRA 的数学解释 4.2.1.4 实现LoRA（伪代码） 4.2.1.5 LoRA 降低参数量 计算 4.2.1.6 LoRA 降低推理开销 计算 4.2.1.7 初始化和缩放 4.2.1.8 LoRA 的实际影响 4.2.1.9 代码实战 4.2.1.10 模型评估 4.2.2 QLoRA 4.2.2.1 QLoRA 介绍 4.2.2.2 QLoRA 的数学解释 4.2.2.3 QLoRA 代码实战 4.2.2.4 模型评估 4.2.3 QA-LoRA 4.2.3.1 QA-LoRA 介绍 4.2.3.

---

作者与出处

原作者： Datawhale

来源：datawhalechina

原文： https://github.com/datawhalechina/llm-deploy

许可证：CC BY-SA 4.0

整理： 灏天文库整理

由灏天文库结构化整理，提供目录导航、全文检索与在线阅读，便于系统化学习