第1章 从事故认识伦理与安全

第 1 章 · 从事故认识伦理与安全

章节摘要：AI 伦理关注设计、开发、部署是否符合人类价值观与公平；AI 安全关注系统在扰动、误用与目标偏离下是否仍可控。本章不从学科年表讲起，而从已经公开讨论过的失败模式切入：弱人工智能已经在招聘、信贷、识别、对话里伤人；通用人工智能与超智能的风险则要求我们提前把「对齐」和「可关掉」写进设计。读完应能把伦理与安全当成同一事故的两面，而不是两套空话。

学习目标

阅读完本章，你应当能够：

1. 用自己的话区分 AI 伦理、AI 安全，以及它们在同一故障里如何重叠。
2. 指出弱人工智能、通用人工智能、超智能各自对应的主要风险类型。
3. 解释为何「能力上去了、部署铺开了、国际规范没跟上」会让议题变得紧迫。
4. 把一次公开争议放进风险地图：偏见、隐私、问责、鲁棒、对齐、滥用。
5. 说出人在回路、人在决策、对齐问题各自要防的失败。

核心概念速览

图 本章从事故进入共同语言

金句：先问伤了谁、关得掉吗，再谈准确率与创新速度。

子章节导航

1.1 伦理与安全的核心概念

把公平、透明、问责、隐私、鲁棒、对齐、人类控制钉在可检验的定义上，并说明伦理不合格常常就是安全不合格。

1.2 为何此刻必须正视风险

从能力飞跃、关键行业部署、社会影响、全球竞争与规范滞后五条压力，解释为什么不能再当「以后再说的软议题」。

1.3 事故如何改写风险地图

用 Tay、刑事风险评分争议、人脸识别跨群体误差、生成式伪造等公开节点，画一张「事故→风险类型」的地图，而不是编年史。

子章节之间的逻辑关系

先有共同语言，再解释紧迫性，最后用事故把语言用起来。1.1 给词，1.2 给为什么现在读，1.3 给对照表。

1.1 定义钉子
    │
    ▼
1.2 为何来不及拖
    │
    ▼
1.3 事故对照风险地图
​

前置知识与后续延伸

• 前置知识：知道机器学习是从数据拟合决策规则即可，不要求会训练大模型。听过推荐、风控、识别这类应用更好，没有也无妨——每节会用公开争议类型带你进场。
• 后续延伸：第 2 章把伦理钉子敲进偏见、隐私、问责、黑箱与劳动；第 3 章把安全钉子敲进对抗、泛化、对齐、滥用与系统性意外；第 4、5 章分别给治理与工程止血。

本章是共同语言课。若跳过，后面的「机会均等」「可修正性」「布鲁塞尔效应」会变成口号。建议读完 1.3 的事故地图，自己用一张纸把本单位最近的一个模型功能钉进格子：偏见、隐私、问责、鲁棒、对齐、滥用。钉不住，说明还没有威胁模型，只有产品介绍。

伦理与安全在原文里被写成互相促进：有偏见的系统既不道德，其不可预测的歧视也可视为安全风险。本章故意把两套词汇并排，避免后文各说各话。弱人工智能已经在伤人，通用人工智能的对齐讨论用来预防能力跃迁后的控制失效——两套时间尺度不要互相取消。读本章时带着一个真实系统的名字，比带着「人工智能」三个字有效得多。

本章钉子怎么用：先分诊再谈创新

七个钉子若只写在文化墙，等于没有钉子。评审时要能一句话回答表格里的问题，并把本单位一个真实功能钉进 1.3 的格子。钉不住说明还没有威胁模型，只有产品介绍。弱人工智能已经在招聘、信贷、识别、对话里伤人，足够启动治理；通用人工智能的对齐讨论用来预防能力跃迁后的控制失效，两套时间尺度不要互相取消。伦理不合格常常就是安全不合格：有偏见的风控既不公平也不可靠。读完 1.1 应能区分人在回路、人在决策、对齐各自要防的失败；读完 1.2 应能把「以后再补」翻译成审计、保险、下线、诉讼哪一环会先垮。

建议读完 1.3 用一张纸把本单位最近的一个模型功能钉进格子。伦理与安全互相促进：有偏见的系统既不道德，其不可预测的歧视也可视为安全风险。弱人工智能已经在伤人；通用人工智能的对齐讨论用来预防控制失效。带着一个真实系统的名字读本章，比带着人工智能三个字有效。七个钉子必须进发布检查单：公平看哪组错误率更高，透明看拒绝时当事人听到什么，问责看谁能关停，隐私看能否推断，鲁棒看扰动时是否拒绝，对齐看字面指标伤害哪些侧目标，控制看否决在时间压力下可不可执行。

⚠️ 把七个钉子写在文化墙而不写进发布检查单，等于没有钉子。
💡 弱人工智能的伤害已经足够启动治理，不必等通用人工智能的定义辩论结束。