附录 攻防方法速查与术语表


附录 攻防方法速查与术语表

把本教程里出现的核心攻防方法与关键术语集中在这里,方便你在实践中快速查阅。表格按"攻击方法 / 防御方法 / 关键术语"三个维度组织,每一条都给出最精炼的定义或判断要点。

攻击方法速查

方法 类别 一句话说明 适用前提
FGSM 白盒攻击 沿梯度符号方向走一步,单步快攻 知道模型梯度
PGD 白盒攻击 FGSM 的迭代版,每步投影回扰动约束 知道模型梯度
CW 白盒攻击 把攻击建成优化问题,成功率最高 知道模型梯度、计算预算充足
黑盒迁移攻击 黑盒攻击 在替身模型上生成对抗样本再迁移 不知道目标模型内部
查询攻击 黑盒攻击 只靠输入输出对逼近决策边界 可反复调用目标接口
标签翻转 数据投毒 直接改错训练样本标签 能接触训练数据
干净标签投毒 数据投毒 不改标签,靠特征碰撞污染 能接触训练数据、更隐蔽
后门攻击 训练阶段 植入触发器,平时正常、触发即错 能接触训练流程
模型窃取 训练阶段 用查询-应答复刻黑盒模型 可调用目标接口
梯度反演 联邦学习 从梯度反推训练数据特征 能接触梯度更新

防御方法速查

方法 类别 一句话说明 主要代价
对抗训练 主动防御 把对抗样本喂给模型一起训练 干净准确率下降、训练成本高
特征压缩 净化防御 降位深/滤波,抹掉高精度扰动 正常准确率下降
随机化 净化防御 随机缩放/裁剪/加噪,扰乱攻击瞄准 可被期望攻击绕过
输入重建 净化防御 用去噪器把对抗样本重建为干净样本 重建误差、计算开销
集成不一致检测 检测防御 多模型投票找异常 需多模型、延迟高
鲁棒聚合 联邦学习 中位数/裁剪聚合,削弱恶意更新 精度下降、收敛变慢
差分隐私 隐私防御 给输出或梯度加噪,限制信息泄露 精度与信息量受损

关键术语

术语 释义
对抗样本(Adversarial Example) 在干净输入上施加微小扰动,使模型以高置信度给出错误输出的样本
对抗机器学习(AML) 研究机器学习模型在对抗性输入下的脆弱性、攻击与防御的领域
扰动预算(Perturbation Budget) 允许攻击者对输入施加的最大扰动,常用 Lp 范数约束
威胁模型(Threat Model) 对攻击者知识、能力、目标的系统刻画,是评估防御的前提
白盒/黑盒/灰盒 按攻击者对模型内部信息掌握程度划分的攻击类型
定向/非定向攻击 定向要求误分类到指定类别,非定向只要求分类错误即可
鲁棒准确率(Robust Accuracy) 模型在给定扰动预算下对对抗样本的正确分类率
攻击成功率(Attack Success Rate) 攻击者成功使模型出错的样本比例
自适应攻击(Adaptive Attack) 攻击者已知防御策略后,专门针对防御生成的攻击,是评估的黄金标准
红队(Red Teaming) 由授权人员像真实攻击者一样系统性地寻找系统漏洞的实践
负责任披露(Responsible Disclosure) 为外部研究者提供漏洞提交渠道并在合理时间内修复的机制
触发器(Trigger) 后门攻击中用于激活恶意行为的特定输入模式

记忆口诀:攻击看"能不能碰到"(白盒/黑盒/训练阶段),防御看"在哪一层拦"(训练/推理/入口),评估看"用多强的攻击打"(预算/强度/指标)。把这三条记牢,遇到具体的攻防方案就能快速归位。

防御方法速查

方法 类别 一句话说明 适用场景
对抗训练 数据增强类 把对抗样本加入训练集,让模型学会免疫 白盒攻击场景
输入预处理 输入变换类 压缩、去噪、随机化削弱对抗扰动 无需改模型
梯度掩蔽 模型加固类 隐藏或平滑梯度,阻断白盒攻击路径 需重新训练
防御性蒸馏 模型压缩类 用软标签蒸馏降低模型对扰动的敏感度 图像分类为主
鲁棒性验证 形式化方法 用可满足性求解器证明输入邻域内的安全性 小模型、安全关键系统
检测器 异常检测类 判别输入是否为对抗样本,拒绝可疑请求 与主模型并联

关键术语表

  • 对抗样本(Adversarial Example):对原始输入施加人眼几乎不可察觉的微小扰动后,使模型以高置信度给出错误预测的样本。
  • 扰动预算(Perturbation Budget):允许施加的最大扰动幅度,常用无穷范数或 L2 范数约束,如 epsilon=8/255。
  • 白盒攻击(White-box Attack):攻击者可完全访问模型结构与参数,可利用梯度信息构造攻击。
  • 黑盒攻击(Black-box Attack):攻击者只能通过输入输出查询与模型交互,无法获得内部梯度。
  • 迁移性(Transferability):在一个模型上生成的对抗样本,往往也能成功攻击结构不同的其他模型。
  • 决策边界(Decision Boundary):模型把输入空间划分为不同类别区域的边界,对抗攻击本质是在边界附近寻找越界点。
  • 鲁棒性(Robustness):模型对输入扰动保持预测稳定的能力,是衡量防御效果的核心指标。
  • 最小对抗扰动(Minimum Distortion):使模型出错所需的最小扰动幅度,越小说明模型越脆弱。
  • 通用对抗扰动(Universal Perturbation):能同时使大量不同输入集体误分类的单一扰动向量。
  • 中毒攻击(Poisoning Attack):在训练阶段注入恶意数据,破坏模型在特定触发条件下的行为。
  • 后门攻击(Backdoor Attack):训练时植入触发器,使带触发器的输入被定向误判,正常输入不受影响。
  • 逃逸攻击(Evasion Attack):测试阶段通过构造对抗输入使模型失效,是对抗样本攻击的统称之一。
  • 隐私推理攻击(Privacy Attack):通过模型输出反推训练数据中的敏感信息,如成员推理、模型反演。
  • 成员推断攻击(Membership Inference):判断某个样本是否出现在训练集中,威胁数据隐私。
  • 公平性(Fairness):模型对不同群体给出无偏预测的性质,与安全性同属可信 AI 的核心维度。

攻防对抗的趋势与建议

对抗攻防是一场持续的"军备竞赛":新攻击手段出现后,防御方案针对性升级,随后又催生更强的攻击。实践中建议采取纵深防御思路:对抗训练作为基线,输入预处理作为低成本补充,对高风险场景叠加鲁棒性验证;同时通过红队测试持续评估模型在真实威胁下的表现。评估鲁棒性时应覆盖白盒与黑盒两类攻击,并记录扰动预算、攻击成功率与防御带来的精度损失三个核心指标,避免以牺牲正常精度换取鲁棒性的失衡设计。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U