大模型微调之Soft prompts（二）Prompt Tuning

文档摘要

大模型微调之Soft prompts（二）Prompt Tuning 在2021年，大型语言模型的概念尚未完全清晰，人们对其的认识还处于探索阶段。在众多研究焦点中，Casual Language Model（仅解码器模型）只是其中之一。当时，GPT-3的问世引起了广泛关注。紧接着，在同年4月，谷歌推出了Prompt Tuning方法，最初在T5模型上进行实验——T5采用的是编码器-解码器架构。随后，Prompt Tuning在其他下游任务上也显示出了其有效性。技术解读 0 Prompt Tuning是一种高效的微调方法，它通过在模型输入中添加特定的文本提示（prompt）来适配下游任务，而不需要对预训练模型的参数进行全面的更新。