3.3AdaLoRA介绍

文档摘要

comments: true title: "AdaLoRA: 大语言模型的自适应低秩适配" 前言在 LoRA 的基础上，微软研究院与普林斯顿大学、佐治亚理工学院的研究者们进一步提出了AdaLoRA (Adaptive Low-Rank Adaptation)方法。核心思想 AdaLoRA旨在解决 LoRA 中存在的一些局限性，通过动态调整不同权重矩阵的秩来实现更高效的参数适配。技术细节矩阵低秩分解 SVDprinciple 定义奇异值分解（Singular Value Decomposition, SVD）是一种在数学和信号处理中常用的矩阵分解技术。它将任意一个矩阵分解为三个特定的矩阵之间的乘积：左奇异向量矩阵、奇异值矩阵和右奇异向量矩阵。该过程如上图所示。