3.7P-Tuning介绍

文档摘要

comments: true title: "P-Tuning：解决人工设计Prompt的问题" 前言不论是还是都需要手动设计离散的提示词，于是清华大学与麻省理工学院的学者们合作提出了P-Tuning方法，即通过连续可学习的prompt embedding来高效地微调大规模语言模型。核心思想 ptuningexample 具体来说，在输入序列的不同位置插入一系列特殊token [P]，每个[P]对应一个可学习的embedding向量。这些连续的 prompt embedding与离散文本的embedding共同构成模型的输入。的创新之处在于构建一个（Prompt）软化的可学习的嵌入层（Embedding Layer）。