大模型微调之Soft prompts（三）Prefix-Tuning

文档摘要

大模型微调之Soft prompts（三）Prefix-Tuning 同样在2021年（和Prompt Tuning同一年），Prefix-Tuning被提出，它通过在模型输入的前缀位置添加可学习的提示向量来实现。这种方法的优势在于可以在不改变模型结构的情况下，为不同的任务提供不同的提示。技术解读 0 Prefix Tuning是一种用于自然语言生成任务的参数高效微调技术。它的核心思想是在模型的输入序列前添加一系列连续的任务特定向量，这些向量被称为前缀（prefix）。这些前缀向量是可训练的，而预训练语言模型（PLM）的其他参数则保持固定。在Prefix Tuning中，模型的输入不仅包括原始的任务输入，还包括这些前缀向量。