3.1PEFT简介

文档摘要

comments: true title: PEFT（Parameter-Efficient Fine-Tuning） peft 前言（参数高效微调）是一个用于高效地将大规模预训练模型适配到各种下游应用的库。由于微调模型的所有参数成本高昂且难以实现，而方法只需要微调少量额外模型参数，从而显著降低了计算和存储成本，同时实现了与模型全量微调近乎相当的性能。这使得在消费级硬件上训练和保存大语言模型 (LLM) 变得更加容易。安装 PEFT 涵盖众多主流低参高校微调技术，并可以和、一起使用，比如 $\cdots$ 库支持的方法均可在 Adapters HuggingFace 左侧导航栏查找接下来的内容将介绍的主要组成，以及如何训练或运行那些通常在消费级设备上难以训练的大规模语言模型。