附录 攻防方法速查与术语表
把本教程里出现的核心攻防方法与关键术语集中在这里,方便你在实践中快速查阅。表格按"攻击方法 / 防御方法 / 关键术语"三个维度组织,每一条都给出最精炼的定义或判断要点。
攻击方法速查
| 方法 |
类别 |
一句话说明 |
适用前提 |
| FGSM |
白盒攻击 |
沿梯度符号方向走一步,单步快攻 |
知道模型梯度 |
| PGD |
白盒攻击 |
FGSM 的迭代版,每步投影回扰动约束 |
知道模型梯度 |
| CW |
白盒攻击 |
把攻击建成优化问题,成功率最高 |
知道模型梯度、计算预算充足 |
| 黑盒迁移攻击 |
黑盒攻击 |
在替身模型上生成对抗样本再迁移 |
不知道目标模型内部 |
| 查询攻击 |
黑盒攻击 |
只靠输入输出对逼近决策边界 |
可反复调用目标接口 |
| 标签翻转 |
数据投毒 |
直接改错训练样本标签 |
能接触训练数据 |
| 干净标签投毒 |
数据投毒 |
不改标签,靠特征碰撞污染 |
能接触训练数据、更隐蔽 |
| 后门攻击 |
训练阶段 |
植入触发器,平时正常、触发即错 |
能接触训练流程 |
| 模型窃取 |
训练阶段 |
用查询-应答复刻黑盒模型 |
可调用目标接口 |
| 梯度反演 |
联邦学习 |
从梯度反推训练数据特征 |
能接触梯度更新 |
防御方法速查
| 方法 |
类别 |
一句话说明 |
主要代价 |
| 对抗训练 |
主动防御 |
把对抗样本喂给模型一起训练 |
干净准确率下降、训练成本高 |
| 特征压缩 |
净化防御 |
降位深/滤波,抹掉高精度扰动 |
正常准确率下降 |
| 随机化 |
净化防御 |
随机缩放/裁剪/加噪,扰乱攻击瞄准 |
可被期望攻击绕过 |
| 输入重建 |
净化防御 |
用去噪器把对抗样本重建为干净样本 |
重建误差、计算开销 |
| 集成不一致检测 |
检测防御 |
多模型投票找异常 |
需多模型、延迟高 |
| 鲁棒聚合 |
联邦学习 |
中位数/裁剪聚合,削弱恶意更新 |
精度下降、收敛变慢 |
| 差分隐私 |
隐私防御 |
给输出或梯度加噪,限制信息泄露 |
精度与信息量受损 |
关键术语
| 术语 |
释义 |
| 对抗样本(Adversarial Example) |
在干净输入上施加微小扰动,使模型以高置信度给出错误输出的样本 |
| 对抗机器学习(AML) |
研究机器学习模型在对抗性输入下的脆弱性、攻击与防御的领域 |
| 扰动预算(Perturbation Budget) |
允许攻击者对输入施加的最大扰动,常用 Lp 范数约束 |
| 威胁模型(Threat Model) |
对攻击者知识、能力、目标的系统刻画,是评估防御的前提 |
| 白盒/黑盒/灰盒 |
按攻击者对模型内部信息掌握程度划分的攻击类型 |
| 定向/非定向攻击 |
定向要求误分类到指定类别,非定向只要求分类错误即可 |
| 鲁棒准确率(Robust Accuracy) |
模型在给定扰动预算下对对抗样本的正确分类率 |
| 攻击成功率(Attack Success Rate) |
攻击者成功使模型出错的样本比例 |
| 自适应攻击(Adaptive Attack) |
攻击者已知防御策略后,专门针对防御生成的攻击,是评估的黄金标准 |
| 红队(Red Teaming) |
由授权人员像真实攻击者一样系统性地寻找系统漏洞的实践 |
| 负责任披露(Responsible Disclosure) |
为外部研究者提供漏洞提交渠道并在合理时间内修复的机制 |
| 触发器(Trigger) |
后门攻击中用于激活恶意行为的特定输入模式 |
记忆口诀:攻击看"能不能碰到"(白盒/黑盒/训练阶段),防御看"在哪一层拦"(训练/推理/入口),评估看"用多强的攻击打"(预算/强度/指标)。把这三条记牢,遇到具体的攻防方案就能快速归位。
防御方法速查
| 方法 |
类别 |
一句话说明 |
适用场景 |
| 对抗训练 |
数据增强类 |
把对抗样本加入训练集,让模型学会免疫 |
白盒攻击场景 |
| 输入预处理 |
输入变换类 |
压缩、去噪、随机化削弱对抗扰动 |
无需改模型 |
| 梯度掩蔽 |
模型加固类 |
隐藏或平滑梯度,阻断白盒攻击路径 |
需重新训练 |
| 防御性蒸馏 |
模型压缩类 |
用软标签蒸馏降低模型对扰动的敏感度 |
图像分类为主 |
| 鲁棒性验证 |
形式化方法 |
用可满足性求解器证明输入邻域内的安全性 |
小模型、安全关键系统 |
| 检测器 |
异常检测类 |
判别输入是否为对抗样本,拒绝可疑请求 |
与主模型并联 |
关键术语表
- 对抗样本(Adversarial Example):对原始输入施加人眼几乎不可察觉的微小扰动后,使模型以高置信度给出错误预测的样本。
- 扰动预算(Perturbation Budget):允许施加的最大扰动幅度,常用无穷范数或 L2 范数约束,如 epsilon=8/255。
- 白盒攻击(White-box Attack):攻击者可完全访问模型结构与参数,可利用梯度信息构造攻击。
- 黑盒攻击(Black-box Attack):攻击者只能通过输入输出查询与模型交互,无法获得内部梯度。
- 迁移性(Transferability):在一个模型上生成的对抗样本,往往也能成功攻击结构不同的其他模型。
- 决策边界(Decision Boundary):模型把输入空间划分为不同类别区域的边界,对抗攻击本质是在边界附近寻找越界点。
- 鲁棒性(Robustness):模型对输入扰动保持预测稳定的能力,是衡量防御效果的核心指标。
- 最小对抗扰动(Minimum Distortion):使模型出错所需的最小扰动幅度,越小说明模型越脆弱。
- 通用对抗扰动(Universal Perturbation):能同时使大量不同输入集体误分类的单一扰动向量。
- 中毒攻击(Poisoning Attack):在训练阶段注入恶意数据,破坏模型在特定触发条件下的行为。
- 后门攻击(Backdoor Attack):训练时植入触发器,使带触发器的输入被定向误判,正常输入不受影响。
- 逃逸攻击(Evasion Attack):测试阶段通过构造对抗输入使模型失效,是对抗样本攻击的统称之一。
- 隐私推理攻击(Privacy Attack):通过模型输出反推训练数据中的敏感信息,如成员推理、模型反演。
- 成员推断攻击(Membership Inference):判断某个样本是否出现在训练集中,威胁数据隐私。
- 公平性(Fairness):模型对不同群体给出无偏预测的性质,与安全性同属可信 AI 的核心维度。
攻防对抗的趋势与建议
对抗攻防是一场持续的"军备竞赛":新攻击手段出现后,防御方案针对性升级,随后又催生更强的攻击。实践中建议采取纵深防御思路:对抗训练作为基线,输入预处理作为低成本补充,对高风险场景叠加鲁棒性验证;同时通过红队测试持续评估模型在真实威胁下的表现。评估鲁棒性时应覆盖白盒与黑盒两类攻击,并记录扰动预算、攻击成功率与防御带来的精度损失三个核心指标,避免以牺牲正常精度换取鲁棒性的失衡设计。
作者与出处
原作者:灏天文库
来源:平台策划编纂
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流