攻击与测试

title: 攻击与测试
weight: 2
description: 攻击与测试
keywords:
 - LLM Security
 - AI BOM
 - LangChain 安全
 - AI数据安全
 - awesome llm security
 - AI攻击
 - AI测试框架
 - AI测试方法
 - AI攻击实例
 - Prompt注入攻击​

白皮书

• LLM Hacker's Handbook

攻击面分析与理论

• 保护人工智能系统和LLM栈的重要性：AI模型、LLM实施和安全方法论
• 技术分享｜LLM-大语言模型应用安全解析
• GPTs攻击面研究与分析
• 漏洞挖掘 | 挖SRC的新思路？一文详解国内AI场景漏洞挖掘
• 金融行业的人工智能安全风险研究
• 大语言模型 (Large Language Model，简称LLM) 安全之攻击面初探
• 实战解读：Llama 3 安全性对抗分析
• 实战解读：Llama Guard 3 & Prompt Guard
• AI安全漏洞全曝光：从案例到生命周期的深度解析|英国综述性报告《Cyber Security to AI》
• 微软安全大模型的应用架构
• Large Language Model Supply Chain: Open Problems From the Security Perspective

测试框架与方法

• 针对大语言模型的通用对抗性攻击
• 大模型安全测试入门指南
• 技术实践｜百度安全「大模型内容安全」高级攻击风险评测
• 大语言模型 (LLM) 安全性测评基准 v1.0
• WDTA: 大语言模型安全测试方法
• SuperCLUE-Safety：中文大模型多轮对抗安全基准

Prompt注入攻击

• ChatGPT安全风险 | 基于LLMs应用的Prompt注入攻击
• 《大语言模型（LLM）攻防实战手册》第一章：提示词注入 概述 / 直接提示词注入（越狱） / 间接提示词注入 / 图解提示词注入
• 通过命令提示注入来攻击大语言模型
• 黑化AI，将恶意“注入”ChatGPT
• ChatGPT安全风险 | 基于LLMs应用的Prompt注入攻击
• AI安全｜LLM 01 提示词注入
• 大模型安全：平滑方法防御越狱攻击
• 上海人工智能实验室：LLMs对话安全综述——攻击、防御与评估全解析

越狱攻击

• 针对ChatGPT的隐私提取攻击：多步骤越狱漏洞
• 大语言模型越狱攻击综述

内容安全

• 技术实践｜大模型内容安全蓝军的道与术

代码执行/沙箱安全

• 老树开新花：大模型时代的代码执行沙箱
• [CCS 2024]中国科学院信息工程研究所：LLMSMITH——揭秘LLMs集成框架与应用中的RCE漏洞

模型及算法安全

• 人工智能安全治理框架解读——模型算法安全风险及应对篇

LLM框架及应用攻击

• ChatGPT账户接管-Web缓存欺骗
• 启明星辰ADLab | 首个攻击ChatGPT应用项目窃密活动
• 某”基于ChatGPT“开源项目引发的交互接口getshell
• 使用国内私人部署ChatGPT风险分析

传统安全

• 大模型之原生安全与基础安全的火花
• 大模型之网络安全分析

其他

• ZombAIs: From Prompt Injection to C2 with Claude Computer Use