3.6Prompt-Tuning介绍

文档摘要

comments: true title: "Prompt-Tuning: Soft Prompts开创者" 前言 OpenAI提出GPT3时，验证了为任务设计特定可以提升模型的表现，但每次遇到新任务都要花费大量精力去设计合适的并不现实。为了解决这个问题，Google Research的研究人员提出了Prompt Tuning方法。这种方法仅微调一小部分连续的“软提示”（soft prompt）参数，高效地将大语言模型适配到不同的下游任务，进而大大简化任务适配的过程。技术细节 Prompttuning 训练方法设计提示: 根据任务选择硬提示（固定文本）或软提示（可训练向量）作为输入。融入输入: 硬提示直接加入文本，软提示作为向量加入序列，指导模型生成任务特定的输出。