2.3 出事了谁来负责

2.3 出事了谁来负责

本节摘要：当自动决策造成损害，传统「找到一个过失的人」会卡住。系统由多方模块拼成，深度学习难以逐步解释，上线后还在随数据漂移，人机边界模糊。责任相关方包括设计者、数据方、部署集成方、操作者、有时还有监管框架本身。可行的补丁不是给算法法律人格，而是风险分配、强制保险、全链路日志，以及高风险场景保留人类否决。

学习目标

阅读完本节，你应当能够：

1. 说出让过失模型失灵的四个结构性原因。
2. 沿生命周期标出开发、数据、部署、使用各自可能承担的责任。
3. 设计一份最低审计日志字段，使事后能复盘。
4. 解释为什么「算法决定的」不能成为抗辩。

一、事故现场往往找不到单一按钮

辅助驾驶碰撞、医疗建议错误、自动交易巨额亏损，公众第一反应是「谁的错」。工程师第一反应是「这条链路有传感器、标注、模型、地图、OTA、驾驶员」。两边都对，所以僵住。原文把挑战的本质写成复杂性与不透明性：分布式开发、黑箱、持续学习带来的涌现行为、人机交互边界模糊。

自动驾驶的追问可以同时指向感知误检、规划过激、高精地图过期、维护不当、其他交通参与者。医疗可以同时指向训练集疾病谱、标注协议、医生过度采信提示。没有日志，这些假设无法被证伪，问责就变成舆论分配。

二、相关方：把锅放回组织，而不是放进模型文件

开发与设计者对算法逻辑缺陷、安全需求缺失负责。数据科学家对带毒、带偏、未授权的数据负责。部署集成者对环境假设错误、未做场景适配负责。使用者对超范围使用、关闭安全提示负责。监管与标准组织不直接操作模型，但框架明显漏洞时会出现「监管责任」讨论。受损害的第三方需要可走的救济，而不是去读论文。

我主张在合同与内部制度里预先写清：谁有权改阈值、谁有权关停、谁在事故 24 小时内对外发言。没有这些，事后一定是法务、公关、算法三方互相提交「不是我的模块」。

⚠️ 常见坑：界面上放「仅供参考」就以为责任转移。若系统在流程里事实上替代了判断，免责声明扛不住。
💡 关键直觉：问责的最小单位是「可关停的系统版本 + 当时的数据与配置」，不是抽象的「人工智能」。

三、让责任变得可计算

最低日志应能回答：哪个模型版本、哪份特征、哪条策略、是否有人复核、复核是否改写了输出。时间同步很关键，分布式系统里各模块时钟差几秒，复盘会变成罗生门。持续学习系统必须能回滚到事故前的权重，否则「当时模型怎么想的」会永远不可再现。

事故包字段

model_version, data_snapshot_id, feature_hash
decision, confidence, human_override
sensor_or_input_digest, policy_id
operator_id, rollback_available
​

现有侵权法不是不能用，而是举证成本被黑箱抬高。所以工程义务应前移：高风险系统默认打开决策记录；对当事人提供可操作的理由，而不是 SHAP 瀑布图原样丢给用户。保险若买得着，精算师会要你的公平切片与红队报告——这是市场在替法律催问责。

涌现行为值得单独写一条。系统在测试集表现正常，上线后与真实用户、其他模型、市场流动性耦合，出现训练时未见的模式。责任分配必须承认：部署者有监控分布偏移的义务，不能说「测试过了」。原文把动态性列为问责变难的原因，对应的控制就是漂移告警与自动降级。

问题：要不要给 AI 法律人格？

我持反对作为问责捷径。给软件人格容易变成组织躲到人格后面。需要的是：产品责任延伸到带学习能力的系统、明确运营者义务、保证受害人找得到赔偿基金。人格讨论可以留给远期哲学，眼前的车祸与拒贷等不起。

问题：开源模型出了事谁负责？

权重作者、微调者、部署者、插件工具提供者可能都在链上。对外提供服务的那一层通常最先被找。因此「只是调用了基础模型」不是自动免责；你的提示词、检索库、业务规则都是你的设计。

四、从过失到风险分配：法律工具怎么接工程

传统过失要证明未尽合理注意。黑箱下，「合理注意」需要被翻译成：是否做了公平切片、是否有对抗与 OOD 评估、是否保留人监控、日志能否复现。做了这些，未必免责，但能证明尽到与风险匹配的注意；完全没做，过失更容易成立。产品责任与严格责任思路是：先让受害人得到救济，再在供应链内部分摊——这要求合同预先写清数据方、模型方、集成方的分摊，而不是事故后才找律师。强制保险把精算压力加在可审计数据上：买不到保险时，说明市场认为你不可审计，这是信号不是倒霉。

持续学习与涌现行为要求部署者有监控义务。测试通过只证明当时的分布。分布一偏，决策就可能换人，责任时钟重新开始。因此回滚能力是问责的一部分：不能回到事故权重，就无法鉴定，也无法向受害人说明「我们改了什么」。开源与基础模型链上，对外提供服务的一层通常最先被找；提示词、检索库、业务规则都是你的设计。把「模型是别人训的」当抗辩，在多数商业场景里很弱。

监管框架疏漏会引发监管责任讨论，但对受害人远水。企业不该把希望寄托在「法律还没写到」。高风险用途按已有原则与较高水位立法预研，既是合规，也是问责上的合理注意。给 AI 法律人格当盾，只会让真正做决策的组织躲到拟制主体后面，本书明确反对把它当捷径。

五、责任分配决策树、事故分档与「算法决定的」反例

问责的最小单位是可关停的系统版本加当时的数据与配置，不是抽象的「人工智能」。决策树：先问谁有权关停、谁在 24 小时内对外发言、日志能否复现——三问缺一，现场会变成罗生门。再沿生命周期放锅：设计缺陷归开发；带毒带偏数据归数据方；环境假设错误归部署集成；超范围使用归操作者。对外提供服务的一层通常最先被找；提示词、检索库、业务规则都是你的设计，「模型是别人训的」在多数商业场景很弱。不要给软件法律人格当盾，那会让组织躲到拟制主体后面。

治理检查项：事故包字段能否抽一条现网决策复现；时钟是否同步；保险询价时精算师要的切片与红队交不交得出。反例：免责声明转移责任；监管还没写到就当可以先上；给 AI 人格当问责捷径。过失要翻译成是否做了与风险匹配的注意；严格责任思路是先救济受害人再内部分摊。持续学习下责任时钟在分布偏移时重新开始。高风险用途按已有原则与较高水位立法预研，既是合规也是合理注意。

问责分诊决策树

关停权无人 ──► 先写名字再上线
日志复现不了 ──► 问责基础设施未建
流程已替代人 ──► 运营者担，声明无效
基础模型+你们的提示 ──► 你们是设计者
建议给模型人格 ──► 拒绝当盾
​

下一节专门拆黑箱：没有解释，问责和公平都无法被当事人使用。

六、事故包如何验收，以及开源链上谁先被找

事故包验收：抽一条现网决策，用版本、数据快照、特征哈希、策略编号复现输出；看当时有没有人复核、复核有没有改写。时钟不同步则复盘作废。持续学习必须能回到事故前权重。合同预先写清数据方、模型方、集成方如何分摊。保险买不到时，说明市场认为你不可审计，这是信号。界面仅供参考但流程事实替代判断，声明扛不住。开源与基础模型链上，对外提供服务的一层通常最先被找；提示词与检索库是你的设计。给 AI 法律人格当盾，本书明确反对。

现有侵权法不是不能用，而是举证成本被黑箱抬高，所以工程义务前移：高风险默认打开决策记录；对当事人提供可操作理由。涌现行为要求部署者有监控分布偏移的义务。监管框架疏漏远水救不了近火，企业按已有原则与较高水位预研。过失翻译成是否做了公平切片、对抗与 OOD、人监控、可复现日志。做了未必免责，完全没做更容易成立过失。产品责任思路是先救济再内部分摊。问责最小单位始终是可关停版本加当时配置。把算法决定的当成抗辩，在事实替代了人的流程里站不住。

本节要点回顾

• 找不到单按钮是结构问题：多方、黑箱、漂移、人机混合。
• 责任在组织不在权重文件：预先写清关停与发言权。
• 救济优先于哲学：保险与严格责任解决受害人等不起。
• 日志是问责基础设施：版本、数据、复核必须可复现。
• 免责声明替代不了实质判断权：事实替代了人，责任就在运营者。
• 监控漂移是部署义务：测试通过不是永久免死。
• 不要用法律人格当盾：会削弱对真正决策者的约束。

图 责任沿生命周期而不是落在权重文件

工作纸：写清产品所有者、关停权、对外发言权三个名字。事故包字段能否在现网抽一条决策复现。持续学习能否回到事故前权重。合同里数据方、模型方、集成方如何分摊，有没有空白。界面上的「仅供参考」是否在流程里事实替代了判断——若是，免责声明不可依赖。开源或基础模型链路上，提示词与检索库是否被当作自己的设计。保险询价时精算师要的切片与红队报告你交得出吗。交不出，说明问责基础设施还没建，不是「法律不确定所以先上线」。

下一节专门拆黑箱：没有解释，问责和公平都无法被当事人使用。