1.1 伦理与安全的核心概念

1.1 伦理与安全的核心概念

本节摘要：人工智能伦理处理「该不该这样决策、伤了谁、谁负责」；人工智能安全处理「系统会不会在扰动、误用或目标偏离下失控」。两者共用公平、透明、问责、隐私、鲁棒、对齐、人类控制这组核心概念。弱人工智能已经在特定任务上造成可观察伤害；通用人工智能与超智能则把对齐与控制从思想实验变成必须提前设计的约束。

学习目标

阅读完本节，你应当能够：

1. 区分弱人工智能、通用人工智能、超智能，并说明当前大多数伦理事故发生在哪一层。
2. 用「对人的伤害」和「对系统可控性的伤害」拆开伦理与安全。
3. 解释为什么有偏见的系统既不道德，也构成安全风险。
4. 在一次产品评审里列出至少五项必须回答的概念问题。

一、先把「智能」分层，再谈伤害

广义上，人工智能指计算机系统完成通常需要人类智能的任务：感知、学习、推理、决策、语言。工程上它不是一种算法，而是机器学习、深度学习、自然语言处理、计算机视觉等方法的总称。真正决定伦理讨论口径的，是能力分层。

弱人工智能只做特定任务：推荐下一支视频、给贷款打分、在医学影像上标可疑区域。今天几乎所有已部署系统都在这一层。通用人工智能被设想为能在广泛认知任务上达到人类水平；超智能则被设想为整体上超过人类。原文把后两者标为需警惕的远期风险，而把当下伤害的主战场放在弱人工智能的广泛部署——这个判断仍然成立。招聘模型、信贷模型、人脸识别、内容审核，出问题的时候并不需要「意识」，只需要把历史数据里的歧视拟合得足够好。

我更倾向在评审会上先问一句：我们讨论的是「这个分类器在哪个群体上更常拒人」，还是「未来不可关停的自主智能」？两套问题都合法，混在一起只会让会议变成口号比赛。弱人工智能的伤害是已经发生的；通用人工智能的伤害是必须用对齐与控制去预防的。把后者的紧迫感拿来掩盖前者的问责，是常见的逃避。

能力分层（评审时用）

弱人工智能 ──► 特定任务已伤人：偏见、误识别、隐私推断
通用人工智能 ──► 目标可能覆盖开放世界：规范不足、控制失效
超智能     ──► 能力不对称：人类难以监督与关停
​

二、伦理问「该不该」，安全问「关得掉吗」

AI 伦理关注设计、开发、部署、使用过程中的道德原则、价值观与社会影响。它逼问：系统该如何决策？错误由谁承担？如何避免不公平待遇？如何保护隐私？AI 安全关注系统在各种环境下是否可靠、可控，会不会对人或环境造成意外或恶意伤害。它包括故障、攻击、与设计者意图不一致（对齐），以及未预见风险。

这两个定义在教科书里分得开，在事故里分不开。一个在少数族裔脸上识别率显著更差的人脸系统，伦理上是歧视，安全上是在安防场景里制造漏报与错报。一个无法解释拒贷理由的模型，伦理上剥夺了申辩权，安全上让调试与审计无法定位故障。原文写得很干脆：符合伦理的系统通常也需要是安全的，反之亦然。

⚠️ 常见坑：把伦理当成公关稿，把安全当成渗透测试。高风险系统两者都要可审计，缺一就会在事后互相甩锅。
💡 关键直觉：伦理不合格往往表现为「对某一类人更常出错」；安全不合格往往表现为「在某一类输入上突然乱判」。很多事故两种表现同时出现。

三、七个钉子：评审会上必须能钉住的词

公平与偏见。 系统从数据里继承甚至放大社会偏见，在招聘、信贷、司法、医疗里给出歧视性结果。公平不是「准确率高就公平」——整体准确率可以靠多数群体撑起来，少数群体被牺牲。

透明与可解释。 深度学习常被当作黑箱。透明性要求过程可被审视；可解释性要求能用人类能懂的方式说明「为什么是这个输出」。没有它们，信任、诊断、问责都悬空。

问责。 损害发生时，开发者、部署者、使用者、数据提供者之间如何分配责任。AI 本身不是法律主体；把责任推给「算法」等于没有责任。

隐私保护。 训练与推理依赖个人数据。风险不只是库被拖走，还包括从模型查询里推断某人是否在训练集中，甚至重构人脸或病历片段。

鲁棒与可靠。 系统应在对抗扰动与异常输入下保持性能。安全关键领域里，鲁棒性不是加分项，是能不能上线的门槛。

对齐问题。 如何让更强系统的目标、价值观与行为与人类长期利益一致，避免它追求被写进目标函数的字面指标而损害人类。弱人工智能里，对齐失败看起来像「优化点击率把人推进化茧」；更强系统里，它可能是规范不足与不可关停。

人类控制。 在运行中保留有效监督与干预，避免把关键决策权完全让渡。人在回路是关键步骤必须经人确认；人在决策是人监督一群自主动作并可随时接管。两者都不是「界面上有个按钮」就够了——按钮必须在时间压力下真的按得下去。

四、概念代码：一次评审的最低问题单

下面不是可运行的训练脚本，而是把概念变成清单。若某条答不出，说明这套系统还没有伦理与安全设计，只有模型文件。

def ethics_safety_gate(system):
    questions = [
        "哪个群体上的错误率显著更高",
        "拒绝对当事人如何解释",
        "训练数据能否被成员推断或反演",
        "扰动或分布偏移时是否有拒绝回答",
        "目标函数有没有可被钻空子的字面指标",
        "谁有权关停、日志留多久、谁看审计",
        "关键决策是否保留人类否决",
    ]
    return all(answered(q) for q in questions)
​

问题：伦理和安全能不能只做其中一个？

不能当互斥选项。偏见检测做了但对抗鲁棒为零，系统仍会在贴纸或噪声下误判；对抗训练做了但数据全是历史歧视，系统会很「稳」地歧视。最低配置是：对高风险决策同时做公平切片、隐私威胁模型、可关停与可审计。

问题：现在谈对齐是不是太早？

对弱人工智能，对齐首先表现为：奖励函数不要只优化参与度、点击率、逮捕率这类容易伤害人的代理指标。对更强系统，对齐还包含价值学习、可修正性、遏制。原文强调全书主要处理当前弱人工智能，同时警惕向通用人工智能发展的风险——这个分层要保留，不要用远期灾难叙事冲掉眼前的拒贷与误识别。

五、把概念嵌进生命周期，而不是嵌进海报

原文用一张环图强调：需求分析、数据收集、模型训练、测试验证、部署集成、监控维护，每一步都要嵌入伦理与安全，而不是在部署后弥补。概念课的用处就是给每一步准备问题。需求阶段问用途是否高风险、是否有禁止清单上的功能。数据阶段问合法基础、表征是否覆盖使用人群、标签是否是逮捕或点击这类被权力扭曲的代理。训练阶段问目标函数会不会为了全局准确率牺牲某一组。测试阶段问有没有公平切片、对抗与 OOD、解释稳定性。部署阶段问人监控负荷和关停演练。监控阶段问漂移与投诉会不会触发降流量。

弱人工智能、通用人工智能、超智能的分层在生命周期里的含义不同。弱人工智能的嵌入是具体的：切片、日志、拒绝选项。通用人工智能的嵌入是预研：工具权限最小化、可修正性、独立红队。不要用后者的宏大替代前者的清单。一个信贷模型不需要先解决人类价值的形式化，需要先解决邮编代理与拒绝解释。

跨部门时，伦理官若只拥有培训权，概念会停在课件。安全工程师若只拥有渗透测试权，公平伤害会漏掉。产品经理必须同时能回答「伤了谁」和「关得掉吗」。这就是为什么本节把两套词汇绑在同一张表里。读完若仍觉得伦理是文科、安全是攻防，说明还在用组织墙分割同一事故。

本节要点回顾

• 分层先于口号：当前事故多在弱人工智能；通用与超智能要求提前设计对齐与控制。
• 伦理对人，安全对可控：同一故障常两面同时破。
• 七个钉子：公平、透明、问责、隐私、鲁棒、对齐、人类控制，评审缺一就悬空。
• 准确率不能代替公平切片：多数群体分数会掩盖少数群体伤害。
• 问责不能推给算法：法律主体仍是组织与人。
• 隐私包括模型泄露：成员推断与模型反演是训练后仍在的攻击面。
• 控制必须可执行：人在回路要在时间压力下真能否决。

工作纸：把你负责的系统名称写在纸顶。七个钉子各用一句话回答；答不出的钉子就是下个迭代的工作而不是「文化议题」。若系统只做推荐，仍然要回答公平切片（谁被推得更极端）与对齐（参与度是否伤害自主）。若系统做识别，重点落在表征偏见与鲁棒。生命周期六步各指定责任人姓名，没有姓名的步骤等于无人负责。概念课到此结束的标志是：你能向非技术同事讲清伦理与安全为何是同一事故的两面，而不把它们讲成文科与攻防的分工。

下一节我们将看这些概念为什么在当下变得来不及拖延：能力、部署、竞争与规范缺口叠在一起。