灏天文库

工具滥用 · Agent 被诱导删库

作者: 灏天 · 收录于 AI安全与攻防

内容摘要

 工具滥用 · Agent 被诱导删库 灏 灏天文库 · AI 安全与攻防 第 6 期 AI 安全与攻防 · 第 6 期 工具滥用 · Agent 被诱导 删库 tool abuse · allowlist · 人审兜底 注入劫持模型的嘴,工具滥用劫持 Agent 的手——诱导它调危险工具。一句"清理临时文件"就能让 Agent 跑 rm -rf 。光配 allowlist 不够,"看起来合理"的诱导能骗过自动放行,还要 人审 + 输出校验 兜底。 ⏱ 约 9 分钟 🎯 给 Agent 配工具的工程师 📦 源:OWASP LLM Top 10 #3 01 反共识:allowlist 拦不住"看起来合理"的诱导 第 4 期讲过 allowlist——危险工具默认审批/拒绝。但 allowlist 有个缝:它判断的是"工具危不危险",不是"调用合不合理"。 rm -rf /tmp/* 这个调用,工具本身危险,但"清理临时文件"这个理由看起来合理——如果 allowlist 配的是"危险工具自动放行看起来合理的请求",它就放行了。

打开完整知识页 返回工坊集