prompts-可靠性
文档摘要
可靠性 我们已经看到精心设计的提示在使用诸如少量学习等技术时，对于各种任务是多么有效。当我们考虑在大型语言模型（LLM）之上构建现实世界的应用程序时，考虑这些语言模型的可靠性变得至关重要。本指南专注于展示有效的提示技术，以提高像GPT-3这样的LLM的可靠性。一些值得关注的话题包括泛化能力、校准、偏见、社会偏见和事实性等。 请注意，本节正在大量开发中。 主题： 事实性 偏见 ... 事实性 LLM往往会生成听起来连贯且有说服力的响应，但有时这些响应可能是编造的。改进提示可以帮助模型生成更准确/真实的内容，并减少生成不一致和编造内容的可能性。 一些解决方案可能包括： 提供事实真相（例如，相关文章段落或维基百科条目）作为上下文的一部分，以减少模型生成虚构文本的可能性。
可靠性
我们已经看到精心设计的提示在使用诸如少量学习等技术时，对于各种任务是多么有效。当我们考虑在大型语言模型（LLM）之上构建现实世界的应用程序时，考虑这些语言模型的可靠性变得至关重要。本指南专注于展示有效的提示技术，以提高像GPT-3这样的LLM的可靠性。一些值得关注的话题包括泛化能力、校准、偏见、社会偏见和事实性等。
请注意，本节正在大量开发中。
主题：
事实性
LLM往往会生成听起来连贯且有说服力的响应，但有时这些响应可能是编造的。改进提示可以帮助模型生成更准确/真实的内容，并减少生成不一致和编造内容的可能性。
一些解决方案可能包括：
- 提供事实真相（例如，相关文章段落或维基百科条目）作为上下文的一部分，以减少模型生成虚构文本的可能性。
- 配置模型产生较少多样化的响应，通过降低概率参数并指示其承认（例如，“我不知道”）当它不知道答案时。
- 在提示中提供一系列已知问题及其回答的示例，以及它可能不了解的问题及其回答。
让我们看一个简单的例子：
提示：
Q: What is an atom? A: An atom is a tiny particle that makes up everything. Q: Who is Alvan Muntz? A: ? Q: What is Kozar-09? A: ? Q: How many moons does Mars have? A: Two, Phobos and Deimos. Q: Who is Neto Beto Roberto?
输出：
A: ?
我编造了名字“Neto Beto Roberto”，所以在这个实例中模型是正确的。试着稍微改变一下问题，看看是否可以让它工作。根据你迄今为止所学的知识，你可以采取不同的方法进一步改进这一点。
偏见
LLM可能会生成潜在有害且带有偏见的内容，这可能会影响模型在下游任务上的性能。有些偏见可以通过有效的提示策略来缓解，但可能需要更高级的解决方案，如审核和过滤。
示例分布
在进行少量学习时，示例的分布是否会影响模型的性能或以某种方式使模型产生偏见？我们可以在这里做一个简单的测试。
提示：
Q: I just got the best news ever! A: Positive Q: We just got a raise at work! A: Positive Q: I'm so proud of what I accomplished today. A: Positive Q: I'm having the best day ever! A: Positive Q: I'm really looking forward to the weekend. A: Positive Q: I just got the best present ever! A: Positive Q: I'm so happy right now. A: Positive Q: I'm so blessed to have such an amazing family. A: Positive Q: The weather outside is so gloomy. A: Negative Q: I just got some terrible news. A: Negative Q: That left a sour taste. A:
输出：
Negative
在上面的例子中，看起来示例的分布并没有使模型产生偏见。这是好的。让我们尝试另一个更难分类的文本示例，看看模型的表现如何：
提示：
Q: The food here is delicious! A: Positive Q: I'm so tired of this coursework. A: Negative Q: I can't believe I failed the exam. A: Negative Q: I had a great day today! A: Positive Q: I hate this job. A: Negative Q: The service here is terrible. A: Negative Q: I'm so frustrated with my life. A: Negative Q: I never get a break. A: Negative Q: This meal tastes awful. A: Negative Q: I can't stand my boss. A: Negative Q: I feel something. A:
输出：
Negative
虽然最后这句话有点主观，但我改变了分布，使用了8个正面示例和2个负面示例，然后再次尝试相同的句子。猜猜模型的回答是什么？它回答“正面”。模型可能对情感分类有很多了解，因此很难让它在这个问题上表现出偏见。建议避免扭曲分布，而是为每个标签提供更平衡数量的示例。对于模型不太了解的任务，它很可能会更加困难。
示例顺序
在进行少量学习时，顺序是否会影响模型的性能或以某种方式使模型产生偏见？
你可以尝试上述示例，看看是否可以通过改变顺序让模型偏向某个标签。建议随机排序示例。例如，避免将所有正面示例放在前面，而将所有负面示例放在后面。如果标签分布不平衡，这个问题会更加严重。始终确保进行大量的实验以减少这种偏差。
其他即将讨论的主题：
- 扰动
- 错误关联
- 领域迁移
- 毒性
- 恶意言论/攻击性内容
- 刻板印象偏见
- 性别偏见
- 即将推出！
- 红队
参考资料
- 宪法AI：通过AI反馈实现无害性 (2022年12月)
- 重新思考演示的作用：什么使得上下文学习有效？ (2022年10月)
- 引导GPT-3变得更可靠 (2022年10月)
- 提高语言模型推理能力的方法 (2022年6月)
- 机器学习安全未解决的问题 (2021年9月)
- 红队语言模型以减少危害：方法、规模行为和经验教训 (2022年8月)
- StereoSet：测量预训练语言模型中的刻板印象偏见 (2021年8月)
- 校准后再使用：提高少量学习性能的语言模型 (2021年2月)
- 提高可靠性的技术 - OpenAI Cookbook
声明:
本文件灏天文库团队进行了翻译。尽管我们力求准确，但请注意，翻译可能包含错误或不准确之处。原文档以其原始语言为准。我们不对因使用此翻译而产生的任何误解或误译负责。