prompts-各种主题


文档摘要

各种主题 在本节中,我们讨论提示工程中的其他各种和未分类的主题。它包括一些相对较新的想法和方法,这些方法将在更广泛采用后被移至主要指南中。本节也有助于跟上提示工程的最新研究论文。 请注意,本节正在大量开发中。 主题: 主动提示 定向刺激提示 ReAct 多模态推理提示 GraphPrompts ... 主动提示 链式思维(CoT)方法依赖于一组固定的人类注释示例。问题在于这些示例可能不是不同任务中最有效的例子。为了解决这个问题,Diao 等人,(2023) 最近提出了一种新的提示方法称为主动提示,以适应不同的任务特定示例提示(用人类设计的CoT推理进行注释)。 下图说明了这种方法。首先,用或不用几个CoT示例查询LLM。为一组训练问题生成k个可能的答案。

各种主题

在本节中,我们讨论提示工程中的其他各种和未分类的主题。它包括一些相对较新的想法和方法,这些方法将在更广泛采用后被移至主要指南中。本节也有助于跟上提示工程的最新研究论文。

请注意,本节正在大量开发中。

主题:

主动提示

链式思维(CoT)方法依赖于一组固定的人类注释示例。问题在于这些示例可能不是不同任务中最有效的例子。为了解决这个问题,Diao 等人,(2023) 最近提出了一种新的提示方法称为主动提示,以适应不同的任务特定示例提示(用人类设计的CoT推理进行注释)。

下图说明了这种方法。首先,用或不用几个CoT示例查询LLM。为一组训练问题生成k个可能的答案。根据k个答案计算不确定性度量(使用不一致程度)。选择最不确定的问题由人类进行标注。然后使用新的标注示例来推断每个问题。

定向刺激提示

Li 等人,(2023) 提出了一种新的提示技术,以更好地引导LLM生成所需的摘要。

训练了一个可调政策LM来生成刺激/提示。看到更多使用RL优化LLM的情况。

下图显示了定向刺激提示与标准提示的比较。政策LM可以很小并优化以生成指导黑盒冻结LLM的提示。

完整示例即将发布!

ReAct

Yao 等人,2022 引入了一个框架,在该框架中,LLM以交错的方式生成推理跟踪和特定任务的动作。生成推理跟踪允许模型推导、跟踪和更新行动计划,甚至处理异常。动作步骤允许与外部源如知识库或环境交互并收集信息。

ReAct框架可以让LLM与外部工具交互以检索额外的信息,从而产生更可靠和事实性的响应。

完整示例即将发布!

多模态推理提示

Zhang 等人,2023 最近提出了一种多模态链式思维提示方法。传统的CoT专注于语言模态。相比之下,多模态CoT将文本和视觉融入两阶段框架。第一步是基于多模态信息生成理由。接下来是第二阶段,利用生成的理由进行答案推断。

多模态CoT模型(1B)在ScienceQA基准测试中优于GPT-3.5。

进一步阅读:

GraphPrompts

Liu 等人,2023 引入了GraphPrompt,这是一种用于提高下游任务性能的新提示框架。

更多信息即将发布!

上一节(可靠性)

声明:
本文件灏天文库团队进行了翻译。尽管我们力求准确,但请注意,翻译可能包含错误或不准确之处。原文档以其原始语言为准。我们不对因使用此翻译而产生的任何误解或误译负责。


发布者: 作者: 转发
评论区 (0)
U