3.5Prefix-Tuning介绍

文档摘要

comments: true title: Prefix-Tuning：自动化构造Prompts 前言微调（fine-tuning）作为利用预训练大语言模型执行下游任务的标准方法，虽然效果显著，却需要修改模型的所有参数，导致每个任务都需要存储一个完整的模型副本，造成存储成本的上升。为了解决这个问题，斯坦福大学的研究者们提出一种轻量级替代方法Prefix-Tuning方法，该方法仅优化一小段连续的任务特定向量（前缀），即可高效地微调大规模语言模型，而无需修改和存储整个模型的参数。技术细节 Prefixtuning vs 上图直观地展示了和传统的差异：：更新模型的所有参数，并为每个任务存储一个完整的模型副本（图示顶部）。：仅优化前缀部分的参数，并且冻结模型的所有参数（图示底部）。 !