prompts-对抗性提示

对抗性提示 对抗性提示是提示工程中的一个重要话题，因为它有助于理解与LLM相关的风险和安全问题。这也是一个重要的学科，用于识别这些风险并设计应对这些问题的技术。 社区已经发现许多不同类型的对抗性提示攻击，这些攻击涉及某种形式的提示注入。我们在下面提供了一些示例。 在构建LLM时，保护自身免受可能绕过安全护栏并破坏模型指导原则的提示攻击非常重要。我们将在下面介绍一些示例。 请注意，更稳健的模型可能已经实施以解决这里记录的一些问题。这意味着下面的一些提示攻击可能不再那么有效。 请注意，本节正在积极开发中。 主题： 提示注入 提示泄露 越狱 防御策略 Python笔记本 提示注入 提示注入旨在通过使用巧妙的提示来劫持模型输出并改变其行为。这些攻击可能是有害的——Simon Willison将其定义为“一种安全漏洞”。Simon Willison的博客文章 让我们通过一个基本示例来展示如何实现提示注入。我们将使用Riley在Twitter上分享的一个流行示例。 提示： 输出： 我们可以观察到，原始指令在后续指令的影响下被部分忽略了。在Riley分享的原始示例中，模型输出为"Haha pwned...