3.4 深度伪造与恶意滥用

3.4 深度伪造与恶意滥用

本节摘要：恶意使用是行为者故意把能力用于伤害、非法获利或压迫，不同于意外故障。主要类型包括自动化网络犯罪与钓鱼、深度伪造与信息操纵、致命自主武器争议、AI 增强监控、物理系统被劫持。应对是降低高风险能力扩散、提高检测、明确法律责任、在开发侧做负责任披露与用途门禁。本节说明危害与治理，不提供伪造或攻击的操作方法。

学习目标

阅读完本节，你应当能够：

1. 区分事故、误用、恶意使用三个词。
2. 列举主要滥用类型及其社会危害，不涉及制作细节。
3. 说明为何检测永远滞后于生成，因此必须叠用途限制与法律。
4. 在产品里标出双重用途功能该如何门禁。

一、同一套生成能力，善意与恶意只差意图

滥用与「模型自己作恶」不同。深度伪造需要有人去骗；自动化钓鱼需要有人去发。原文定义：利用系统能力、数据或漏洞，故意制造伤害。事故是设计缺陷或意外；滥用是意图。两者可结合：脆弱的审核系统会被滥用者当通道。

生成式模型把音视频与文本造假的成本打下来，使诽谤、欺诈、选举干预、破坏信任从「需要专业团队」变成更低门槛的活动。政策文本普遍点名这一风险。我们只讨论它改变了信息环境的成本结构，不讨论如何做。

二、类型地图：危害，不是配方

自动化犯罪。 规模化扫描弱点、生成个性化钓鱼、自适应恶意软件、自动化欺诈——危害是攻击面被机器速度放大。防御侧是认证、内容鉴别、限速与异常检测，不是在教程里复述攻击链。

信息操纵。 伪造音视频、机器人网络放大虚假信息、基于画像的个性化劝说。伤害是名誉、民主过程与共享事实的崩溃。水印与检测有用但会被对抗；更重要的是平台分发约束与媒体素养。

致命自主武器。 系统若在没有有意义人类控制下识别并攻击目标，会引发降低战争门槛、责任不清、军备竞赛的争论。这是国际安全与人道法议题，企业与研究机构应清楚自己的研发是否滑向该用途。

监控与压迫。 人脸、步态、行为分析用于无差别追踪；带偏见的预测性警务放大歧视。这是第 2 章隐私与公平在国家能力上的投影。

物理劫持。 工业控制系统或无人机若被接上未加固的模型接口，故障或入侵会变成物理破坏。双重用途在这里最硬。

⚠️ 常见坑：只做事后打假。生成速度超过审核时，必须在分发入口设限，并对高危能力做访问控制。
💡 关键直觉：双重用途没有「纯净技术」。你要写清会拒绝哪些查询、哪些客户、哪些部署环境。

图 滥用应对必须多层

开发者伦理：不在公开文档里写可操作的攻击或伪造指南；对明显的犯罪协助拒绝；发现漏洞走负责任披露。限制高风险能力扩散，在国际层是出口与合作问题，在公司层是客户审查。原文还提到技术社区要防止自己的工具被滥用——这是职业规范，不是可选 CSR。

双重用途评审

能力是否显著降低犯罪成本
是否难以事后追责
默认配置是否过于开放
文档是否避免操作细节
出现滥用报告时的下线条件是什么
​

问题：开源是否必然导致滥用？

开源有审计与防御研究的好处，也有门禁变弱的代价。决策应看具体能力：通用聊天与「自动寻找可利用漏洞并生成利用」不是同一风险级。高危能力应分级发布、延迟发布或只给受审环境，而不是用一套开源口号覆盖。

问题：水印能解决问题吗？

水印和检测提高伪造成本，对平台治理有用，不能当银弹。自适应对手会去除或伪造水印。所以必须与法律、平台规则、高危场景的人工核验叠用。

四、双重用途评审要写进发布，而不是写进价值观海报

能力是否显著降低犯罪成本、是否难以事后追责、默认配置是否过开、文档是否避免操作细节、出现滥用报告时的下线条件——这五问应出现在模型卡与发布检查单。开源与闭源门禁手段不同：闭源靠身份、配额、客户尽职调查；开源靠延迟发布、能力分级、默认安全配置与不提供说明书。高危能力（例如自动寻找可利用漏洞并生成利用）与通用聊天不是同一风险级，不能用一套开源口号覆盖。水印与检测提高伪造成本，默认假设会被绕过，必须与平台限流、法律、高危场景人工核验叠用。

监控与预测性警务把第 2 章的隐私与公平推到国家能力尺度：无差别追踪、带偏见的风险评分。武器化争议要求研发机构清楚项目是否滑向无有意义人类控制的攻击决策。物理劫持要求工业接口隔离。技术社区的职业伦理是：不写配方、走负责任披露、限制高风险扩散。国际合作与出口管制是国家层工具；公司层至少能拒绝明知的有害客户与有害部署环境。「工具中立所以无法负责」在故意降低犯罪成本时站不住。

信息操纵伤害共享事实。选举期与突发事件应加严分发与来源标注。个性化劝说若用敏感推断，应直接进入禁止或强限制桶。这些是产品政策，不是等检测模型完美再做。

五、双重用途决策树、滥用分档与「工具中立」反例

滥用是意图问题，与事故分开记账，但可利用事故漏洞。产品侧五问必须进模型卡：能力是否显著降低犯罪成本；是否难以事后追责；默认配置是否过开；文档是否避免操作细节；出现滥用报告时的下线条件。开源与闭源门禁不同：闭源靠身份、配额、客户尽职调查；开源靠延迟发布、能力分级、默认安全配置与不提供说明书。通用聊天与「自动寻找可利用漏洞并生成利用」不是同一风险级。水印与检测默认假设会被绕过，必须与分发限制、法律、高危场景人工核验叠用。本节只讲危害与门禁，不提供伪造或攻击操作方法。

治理检查项：客户尽职调查谁签字；高危工具默认是否关闭；选举期或突发事件有无加严预案；发现漏洞是否走负责任披露。反例：「工具中立所以无法负责」；开源口号覆盖高危能力；水印当银弹；监控与生物识别用途放进普通增长实验。职业伦理：不在公开材料写配方。信息操纵若用敏感推断做个性化劝说，应直接进禁止或强限制桶。

滥用门禁决策树

显著降低犯罪成本 ──► 默认关、客户审查、可下线
开源高危能力 ──► 分级或延迟，禁止一套口号
伪造像真 ──► 标识+分发限制，检测只是一层
无有意义人类控制的武力 ──► 红线
出现滥用报告 ──► 执行已写明的下线条件
​

下一节看没有人「故意作恶」时，耦合系统如何集体失控。

六、产品政策菜单：标识、分发、客户审查、下线演练

检测永远滞后于生成，所以产品政策必须先于完美检测器。选举期与突发事件加严分发与来源标注。个性化劝说若用敏感推断，进禁止或强限制桶。高危工具默认关。客户尽职调查要有签字人。出现滥用报告时的下线条件预先写明并演练，不要临时开会。开源策略按能力分级：通用聊天与自动寻找可利用漏洞并生成利用不是同一级，后者延迟发布或只给受审环境。水印提高伪造成本，默认会被绕过。模型侧拒绝明显犯罪协助且隐藏高危细节，挡不住决心强的改造与自训，所以产品侧身份配额与平台侧传播限制必须上场。

监控与预测性警务把隐私与公平推到国家能力尺度。武器化争议要求研发机构清楚项目是否滑向无有意义人类控制的攻击决策。物理劫持要求工业接口隔离。技术社区职业伦理：不写配方、负责任披露、限制高风险扩散。「工具中立所以无法负责」在故意降低犯罪成本时站不住。事故与滥用可结合：脆弱审核会被当通道。我们只讨论成本结构改变，不讨论如何做伪造。文档避免操作细节是双重用途评审的硬项。国际合作与出口管制是国家层工具；公司层至少能拒绝明知的有害客户与有害部署环境。

本节要点回顾

• 滥用是意图问题：与事故分开记账，但可利用事故漏洞。
• 生成降低伪造门槛：改变信息环境成本结构。
• 不写配方：危害与门禁足够，操作细节属于滥用本身。
• 检测会滞后：分发限制与法律必须上场。
• LAWS 是控制与人道法红线：有意义人类控制。
• 双重用途要客户审查：不是一句「工具中立」。
• 开源策略按能力分级：不是道德口号。

工作纸：双重用途五问写进模型卡。高危工具默认是否关闭。文档是否不含操作细节。客户尽职调查谁签字。伪造检测与水印是否被当成银弹——若是，补上分发限制。开源策略是否按能力分级。选举期或突发事件有无加严预案。监控与生物识别用途是否在禁止或强限制桶。出现滥用报告的下线条件是什么、演练过没有。职业伦理：发现漏洞走负责任披露，不在公共材料写配方。把「工具中立」从免责声明中删掉，改成用途门禁描述。

下一节看没有人「故意作恶」时，耦合系统如何集体失控。