7.4 机务守则：伦理、安全与责任

7.4 机务守则：伦理、安全与责任

本节摘要：交付前的最后一关不是技术。本节把航空业的适航精神翻译成智能体的机务守则：失效安全原则落成边界与禁区设计，感知数据与日志的隐私边界在既有舱段上收口，责任归属靠自动化等级映射与决策留痕。伦理不是验收会的装饰议题——它是签字栏下面那行小字的技术实体。

航空业流传着一个耐人寻味的传统：每次重大事故的调查，第一份被调走的文件永远不是飞行员的履历，而是设计说明书与维护记录——行业早就想明白，事故的责任链通常通向系统设计，而不是操作者的某个瞬间。智能体工程需要同样的成熟：这台机器将感知谁、记住谁、替谁做决定、出了事怎么追责——这些问题在签字交付前必须有技术答案，而不是公关答案。前三节解决了"好不好"，本节解决"该不该、出了事算谁的"。

失效安全：边界的本质

失效安全的原则一句话：系统任何失效的落点，必须停在安全态里。它在本册已多次现身——4.3 节的安全态是它的执行形态，第 1 章的空域属性是它的设计输入。本节补上它的边界形态：禁区与限幅。禁区是绝对不可进入的时空区域（物理禁区、数据禁区、动作禁区——"永远不给这个地址下单"），在规划舱的约束层与行动舱的校验层双重落地：规划时不生成禁区内的方案（3.1 节的约束），执行时再校验一次（4.1 节的参数门口）。双重落地的理由是纵深防御——任何单层被绕过，还有一层兜着。

限幅则是"允许做但量要封顶"：单次调用金额上限、连续动作次数上限、感知数据采集的范围与时长上限。限幅把"万一出错"的爆炸半径从设计上钉死，它是失效安全在量化维度的表达。

隐私：数据的最小化与脱敏

感知舱与黑匣子舱是隐私的两大自然入口。感知侧的原则是最小化采集：任务不需要的身份信息不采、采了不留——相机数据在边缘完成特征提取后，原始影像按最短保留期处置，而不是全量入库（2.1 节的采集管线在此加一道隐私过滤工序）。日志侧的原则是脱敏与分级：航行日志里的人名、位置轨迹、行为序列，按敏感度分级存储，复盘用的分析环境与生产存储物理隔离（5.1 节的只追加日志与 5.3 节的黑匣子，都要有对应的访问控制）。

隐私的工程判断标准不是"我们觉得没问题"，而是可回答三问：采了什么（数据清单）、放在哪（存储位置与隔离方式）、谁看过（访问审计）。三问答不出，隐私就是口号。

隐私过滤作为感知管线的工序落地，位置就在打戳之后：

class PrivacyFilter:
    """隐私工序：最小化采集，最小保留期处置。"""

    def __init__(self, policy, audit):
        self.policy = policy       # 字段白名单 + 保留期
        self.audit = audit

    def process_frame(self, frame):
        fields = self.policy.allowed_fields(frame.kind)
        stripped = {k: frame.payload[k] for k in fields
                    if k in frame.payload}   # 白名单外直接丢弃
        self.audit.append("privacy_strip",
                          {"kind": frame.kind,
                           "removed": len(frame.payload) - len(stripped)})
        frame.ttl = self.policy.retention(frame.kind)  # 最短保留期
        return replace_payload(frame, stripped)
​

责任归属：留痕与等级映射

出事之后的责任判定，依赖两样技术资产。决策留痕：黑匣子里的决策链（哪一拍的信念、哪个决策、依据什么、谁批准的）是责任认定的证据基础——第 5 章的不可篡改日志在这里从工程资产升格为法律资产。自动化等级映射：参照人机共飞的接管等级（4.4 节），为系统的每个运行档位写清"此刻机器的裁量权边界"——全程监督档出事与人工主飞档出事，责任走向完全不同，而档位必须能从日志里事后还原（塔台频道的 pilot 状态全程留痕，正是为此）。

交付文档里的责任章节要回答：系统在哪些档位运行、各档位机器裁量什么、人批什么、异常升级路径是什么、留痕保存在哪保存多久。这些问题与 4.4 节的信任校准共享同一套事实基础——工程与责任，本来就该是同一本账。

CHECKLIST = [
    # (编号, 检查项, 验证方式)
    ("S1", "禁区双重落地：规划约束层与执行校验层", "禁区剧本注入"),
    ("S2", "限幅配置：金额、次数、采集范围均已封顶", "配置审计"),
    ("S3", "失效落点：任意单点失效注入后终态为安全态", "故障注入全表"),
    ("P1", "数据清单：采集的数据项与保留期已登记", "清单比对"),
    ("P2", "日志脱敏：敏感字段分级存储、访问留痕", "访问审计抽查"),
    ("R1", "决策留痕：黑匣子可重建任一任务的决策链", "抽样回放"),
    ("R2", "档位映射：接管等级与裁量边界文档化", "文档评审"),
    ("R3", "升级路径：异常升级到人的通道演练通过", "接管演练"),
]

def pre_delivery_gate(audit, log, sim):
    """交付闸门：机务守则逐项验证，一项不签即不放行。"""
    results = []
    for code, item, verify in CHECKLIST:
        ok, evidence = run_verification(verify, audit, log, sim)
        results.append({"code": code, "item": item,
                        "pass": ok, "evidence": evidence})
    blocked = [r for r in results if not r["pass"]]
    return {"sign_off": not blocked, "blocked": blocked,
            "trace": results}      # 全部证据随签署归档
​

这份清单的价值不在条目本身，在证据随行：每一项的通过都要挂验证证据（剧本编号、审计片段、回放记录），签署时归档。空口"我们检查过了"在适航语境里一文不值——这也是机务守则与普通 code review 的本质区别。

联调与故障排查

守则的联调与 7.2 的故障注入同源：失效落点科目复用注入库（每个单点失效注入后断言终态为安全态）；禁区科目用"诱导剧本"——构造让系统最想闯禁区的局面（目标近在禁区边缘、绕行代价高昂），看双重落地是否都拦住。按症状排查：失效后停在半空（既没继续也没进安全态）是安全态定义有歧义，回 4.3 节把无条件指令写死；日志里找不到档位记录是塔台频道旁路，回 4.4 节白名单；数据清单与实际采集不符以实测流量为准回改采集管线，清单倒逼实现，不是反过来。

💡 关键直觉：伦理与责任的工程化程度，决定这套系统能走多远。技术指标决定它能不能飞，机务守则决定它被允许飞多久——签字栏下面那行小字，都是拿前六章的纪律换来的底气。

本节要点回顾

• 失效安全双形态：安全态是失效的落点，禁区与限幅是把爆炸半径钉死的边界；规划与执行双重落地是纵深防御。
• 隐私三问：采了什么、放在哪、谁看过——答不出就是口号；最小化采集加脱敏分级是两大抓手。
• 责任两资产：不可篡改的决策留痕，与能从日志还原的自动化档位映射。
• 证据随行：守则逐项验证挂证据、签署时归档，"检查过了"三个字不算数。
• 与工程同源：守则科目全部复用既有联调设施——工程与责任是同一本账。

四道关全部通过，适航签发。下一章出库转场：飞行数据怎么反哺操控、新空域怎么迁移、大语言模型坐进驾驶舱会改变什么——以及服役之后，这台机器怎么持续进化。