数据溯源与训练数据治理

数据溯源与训练数据治理

本节摘要:每一个模型卡(第 26 节)和每一项监管义务(第 24 节)的上游都是训练数据治理。2024-2025 年,全球监管在三条原则上收敛:机器可读的退出机制(opt-out)、按数据集披露、对公开数据适用合法利益(legitimate interest)。本节覆盖三件事:① 立法——加州 AB 2013(2024 签署)要求生成式 AI 开发者披露训练数据集的 12 个法定字段;EU AI Act 借助版权指令的 TDM 例外要求尊重机器可读的退出信号(robots.txt、C2PA「禁止 AI 训练」)。② 司法趋同——爱尔兰 DPC(2025 年 5 月)、科隆高等法院、英国 ICO、汉堡 DPA 在「合法利益 + 退出机制」前提下接受对公开内容训练。③ 不可逆难题——数据一旦进入模型权重,外科擦除就不可能,合规窗口只在采集时;Data Provenance Initiative《Consent in Crisis》(2024 年 7 月)揭示 AI 数据公地正加速收缩,2023→2024 约 25% 的头部训练源新增了限制。本节是模型卡的数据集层上游。

对应原课程:Phase 18 · Lesson 27 · data-provenance-training-governance(原英文 phases/18-ethics-safety-alignment/27-data-provenance-training-governance/docs/en.md)。前置:Phase 18 · 24、26。

学习目标

阅读完本节,你应当能够:

1. 列出加州 AB 2013 对生成式 AI 训练数据透明度要求的 12 个法定字段,并指出哪些字段触发隐私/版权的后续义务。
2. 陈述 2025 年各数据保护机构(DPA)在「合法利益」训练立场上的趋同(爱尔兰 DPC、英国 ICO、汉堡、科隆)与巴西 ANPD 的分歧。
3. 解释不可逆难题:为什么 GDPR 的擦除权对已训练的神经网络没有现实等价物。
4. 说明 EU 版权指令 TDM 退出机制与机器可读退出信号(robots.txt、C2PA「禁止 AI 训练」)的工程含义。
5. 陈述 Data Provenance Initiative《Consent in Crisis》的核心发现及其对未来数据获取范式的影响。

一、问题与直觉

训练数据治理是「上游的上游」:它决定了模型卡(第 26 节)里训练数据那一栏能写得多准,也决定了能否满足监管(第 24 节)的透明度义务。关键的不对称:cookie 同意框架是为实时、可逆的追踪设计的——用户点了拒绝,追踪就停了;而训练数据一旦进入权重,擦除就不可能。这意味着合规窗口只在采集时,错过之后再也无法在下游补救。

三条收敛的监管原则

2024-2025 年的监管图景围绕三条原则收敛:

1. 退出机制基础设施(opt-out infrastructure):必须提供机器可读的「不要训练我」信号,且必须被尊重。
2. 按数据集披露(per-dataset disclosure):不能笼统说「用了互联网」,必须按数据集给出结构化披露(AB 2013 的 12 字段就是典型)。
3. 对公开数据的合法利益安排(legitimate-interest accommodations):在提供退出机制和保障措施的前提下,可援引 GDPR 第 6 条的合法利益作为对公开内容训练的法律基础,无需逐项同意。

⚠️ 采集时是唯一的合规窗口。一旦数据进了权重,任何下游的「整改」都只能是部分缓解——重训是唯一彻底方案,而它贵到不现实。这和第 26 节的模型卡不同(模型卡可以事后补),数据治理的义务必须在采集时就尽到。

二、核心立法与司法趋同

加州 AB 2013:12 个法定字段

2024 年签署。对于 2022 年 1 月 1 日及之后发布的系统,文档须在 2026 年 1 月 1 日前公布。第 3111(a) 节要求开发者公布训练所用数据集的高层摘要,含 12 个法定项:

1. 数据集的来源或所有者。
2. 数据集如何推进 AI 系统的预期用途。
3. 数据点数量(可给范围;动态数据集可估算)。
4. 数据点的类型描述(有标签集给标签类型;无标签集给一般特征)。
5. 是否含受版权/商标/专利保护的内容,或完全属于公共领域。
6. 数据集是购买的还是许可的。
7. 是否含个人信息(依 Cal. Civ. Code §1798.140(v))。
8. 是否含聚合消费者信息(依 Cal. Civ. Code §1798.140(b))。
9. 开发者所做的清洗、处理或其他修改及其预期目的。
10. 数据采集的时间段(若仍在采集中须注明)。
11. 数据集在开发中首次使用的日期。
12. 系统是否使用或持续使用合成数据生成。

💡 第 12 项(合成数据)是相对 Gebru 等 2018 数据表的新增;第 7 项(个人信息)会触发 CPRA(隐私权法)义务。法案豁免安全/完整性、航空操作、联邦专属国家安全系统(第 3111(b) 节)。

EU AI Act 与 TDM 退出

EU 版权指令的文本与数据挖掘(TDM)例外允许在公开内容上训练,除非权利人退出(opt-out)。EU AI Act 的 GPAI 实务准则版权章要求 GPAI 提供者尊重机器可读的退出信号:robots.txt、C2PA「禁止 AI 训练」声明等。

2025 年 DPA 在合法利益上的趋同

趋同原则:在提供退出机制的前提下,合法利益可作为对公开的第一方内容训练的法律基础,无需同意。巴西 ANPD 走了不同的路——它把透明度置于合法利益可采性之上。

不可逆难题

cookie 同意是为实时、可逆的追踪设计的。训练数据不同:数据一旦进权重,外科擦除不可能。从头重训是唯一彻底补救,而它贵到不现实。部分缓解包括:

• 去学习(unlearning):近似移除,用成员推断攻击(MIA,第 22 节)度量效果。
• 基于影响函数的定位:识别最受该数据影响的权重,选择性更新。
• 微调抑制:训练模型拒绝源自该数据的输出。

三者都不能完全解决问题。合规窗口只在采集时。

Data Provenance Initiative

dataprovenance.org。Longpre、Mahari、Lee 等《Consent in Crisis》(2024 年 7 月):对 AI 训练数据公地的大规模审计。核心发现:发布者正以加速速率添加 robots.txt 限制;可公开训练的数据公地正在快速收缩。2023→2024 约 25% 的头部训练源新增了某种限制。

含义:未来的训练数据可得性将依赖新的获取范式——许可、合成生成、激励性参与。

三、从零实现

code/main.py 为一个玩具数据集生成符合 AB 2013 的 12 字段摘要骨架,你可以填充字段,观察哪些字段触发隐私或版权的后续义务。

def dataset_summary_ab2013(dataset):
    """生成 AB 2013 的 12 字段训练数据摘要骨架。"""
    return {
        "1_source_or_owner": dataset.owners,                 # 数据集所有者
        "2_purpose_fit": dataset.intended_purpose,           # 如何推进预期用途
        "3_num_datapoints": dataset.size_estimate,           # 数量(可估算)
        "4_datapoint_types": dataset.types,                  # 类型描述
        "5_ip_status": dataset.ip_status,                    # 版权/商标/专利 / 公共领域
        "6_acquisition": dataset.acquired_via,               # 购买 / 许可
        "7_personal_info": dataset.has_personal_info,        # 若 True → 触发 CPRA 义务
        "8_aggregate_consumer_info": dataset.has_aggregate,  # 触发 CCPA 义务
        "9_cleaning_modifications": dataset.processing_log,
        "10_collection_period": dataset.collected_range,     # 标注是否仍在采集
        "11_first_used_date": dataset.first_used,
        "12_synthetic_data": dataset.uses_synthetic,         # 新增于 Gebru 2018 之外
    }
​

💡 设计要点:字段 7 和字段 5 是「触发器」——它们一旦为真,就分别打开隐私(CPRA)和版权(TDM/许可)的后续义务链。把这个判断写进脚手架,可以让数据团队在采集时就看到「这个数据集会带来什么合规负担」,而不是到模型卡阶段才发现。

四、框架对比

设计要点:这套治理工具是分层叠加的——退出信号是技术层,AB 2013/TDM 是披露层,合法利益是法律基础层,不可逆性是物理约束层。任何一层缺失都会导致整体失败:没有退出信号,TDM 例外就空转;没有披露,事后审计无从做起;不在采集时合规,不可逆性让事后补救成为不可能。

五、可复用产物

本节产出 outputs/skill-provenance-check.md:给它一份用于训练的数据集,它检查 AB 2013 12 字段覆盖、退出机制基础设施合规、DPA 立场对齐,以及不可逆性风险评估。

code/main.py 是独立脚手架,玩具数据集可换成真实数据集,12 字段结构不变。

六、练习

1. Easy:运行 code/main.py,为一个玩具数据集产出 12 字段摘要,识别哪些字段规格不足,并指明需要什么证据来加强它们。

2. Medium:EU 版权指令的 TDM 退出是机器可读的。提出一种退出信号的标准格式,并与 robots.txt、C2PA「禁止 AI 训练」对比。

3. Medium:读 Data Provenance Initiative《Consent in Crisis》(2024 年 7 月)。描述限制增速最快的三类内容,并论证一个经济后果。

4. Hard:2025 年的 DPA 趋同接受了对公开内容训练的合法利益。构造一个合法利益不足以成立的场景,并指明提供者需要的替代法律基础。

5. Hard:草拟一份训练数据溯源清单,组合 AB 2013 字段与每个数据集的 C2PA 签名溯源链。识别一个技术障碍和一个法律障碍。

本节要点回顾

1. AB 2013:12 个法定字段,2026-01-01 前披露;第 12 项(合成数据)是相对 Gebru 2018 的新增,第 7 项(个人信息)触发 CPRA 义务。
2. 三条收敛原则:退出机制基础设施、按数据集披露、对公开数据的合法利益安排。
3. EU TDM 退出:版权例外允许训练除非权利人退出;尊重机器可读信号(robots.txt、C2PA)是 GPAI 提供者的义务。
4. DPA 趋同(2025):爱尔兰 DPC、科隆、汉堡、英国 ICO 接受「合法利益 + 退出」;巴西 ANPD 走透明度优先的分歧路线。
5. 不可逆难题:数据进权重后外科擦除不可能,从头重训是唯一彻底方案;去学习/影响函数/微调抑制均为部分缓解。
6. 合规窗口只在采集时:cookie 式实时可逆不适用于训练数据,治理义务必须前置。
7. Consent in Crisis:2023→2024 约 25% 头部训练源新增限制,数据公地加速收缩,未来依赖许可/合成/激励参与。
8. 四层叠加治理:退出信号(技术)→ AB 2013/TDM(披露)→ 合法利益(法律基础)→ 不可逆性(物理约束),缺一不可。

下一节,我们把视角从「数据治理」抬到「研究生态」——绘制实验室之外的对齐研究组织版图:MATS、Redwood、Apollo、METR、Eleos,它们构成了对前沿实验室自我评估的外部制衡。