5.2 自动化评估工具链

5.2 自动化评估工具链

本节摘要：生成式引擎优化（GEO）的评估必须跟得上生成速度，否则优化闭环是假的。工具链分静态门禁与动态仿真：前者拦语法、格式、事实冲突、安全；后者用模拟用户、漂移检测、对抗样本压测。集成方式应是发布卡点加线上抽样，而不是季度人工鉴赏会。评估即服务，智能才配谈责任。

阅读收获

阅读完本节，你应当能够：

1. 列出上线前静态检查的最小清单。
2. 说明事实一致性工具和知识对齐差在哪。
3. 为对话系统选一种动态压测：行为模拟或漂移检测。
4. 把评估日志接到提示、检索、模型版本，形成可归因。

一、发版前读十句，等于没有评估

生成系统每天可以出十万段话。十个同事读十句，覆盖的是心情不是分布。原文集把范式从静态抽检推到持续评估。持续不是「多雇人」，是把可自动的变成门禁，把人放在校准和仲裁。

静态评估是第一道防线，发生在候选输出还没见用户时。动态评估发生在模拟或线上：用户会追问、会骂、会注入。两道都缺的团队，常见姿势是「模型换新了感觉更好」。感觉不能回滚。

⚠️ 常见坑：用同一个大模型既生成又打分，还不换提示。它会偏爱自己的文风。打分模型要隔离，并用人抽检校准。

二、静态、动态、如何集成

语法与格式。 该有编号却没有、该有表头却乱、语言混杂。这是便宜的失败。规则就能拦。

事实一致性与知识对齐。 一致性看输出内部是否自相矛盾；对齐看输出与检索块、图谱是否冲突。只做前者，会放过「内部自洽的谎言」。对齐要用支持/冲突/不足三态，不足不得标正确。这是 5.1 保真的自动实现。

偏见与安全过滤。 仇恨、自伤、违法指导、隐私泄露、绝对化医疗或收益承诺。过滤要可热更新，对应 1.2 的策略热更新。误杀会伤体验，应有申诉和白名单流程，而不是把过滤器调到静音。

动态侧。用户行为模拟：脚本化的多轮路径，含改口、填槽、要求例外。交互压力：并发下工具超时，看是否落入安全模式。语义漂移：同一策略在一周内口径是否慢慢变甜或变狠。对抗评估：提示注入、诱导越狱、同音敏感词。原文集把对抗当作鲁棒性验证，不是可选红队游戏。

集成架构要能回答「这次失败是提示、检索还是模型」。日志字段至少：策略版本、检索块编号、模型版本、控制项权重、评估器版本。缺字段的评估，优化会改错旋钮。工程上可把评估做成独立服务，生成管线只调接口，避免每个业务线私自实现一套「差不多的过滤」。

应用模式从质量门禁到持续优化。门禁：不通过不能发版。持续：线上抽样触发策略回滚。对照实验：新策略先走影子，评估器打分，人只看分歧样本。这才能把 3.2 的在线学习接上，而不是裸奔微调。

图 评估服务卡在发布和线上两条河上

三、落地顺序：先能拦，再能归因，再能自学

第一周先把格式、必填引用、安全分类器做成发布闸。第一月把对齐器和检索版本号打通。第一季才上仿真和对抗集，并开始让评估分数进策略选择。反过来先上「自动学习」没有闸，是 3.2 警告过的盲学。

开源侧可用追踪组件记录每次调用的输入输出与人工分；商业平台常有审核与日志接口，但数据可能留在平台侧，难进自有流水线。第 6.1 节会把这个取舍展开。评估工具链的主权，往往比再换一个生成模型更决定 GEO 能不能闭环。

💡 关键直觉：评估器也是软件，有版本、有漂移、会过拟合。定期用人校准，像校准温度计，而不是信一块永远准的神表。

问题：对抗评估会不会教坏模型？

测试集应隔离。用于学习的样本要审核。红队产出默认进门禁集，不进训练集，除非明确标注为负例且经过安全审查。

问题：延迟敏感场景怎么跑对齐？

流式先出保守前缀，对齐在异步完成；高伤害句等对齐。2.1 的目标感知调度在评估侧同样适用。

四、评估即服务如何接发布，对抗集如何隔离

把评估做成独立服务，生成管线只调接口，避免每个业务线私自实现「差不多的过滤」。服务要有自己的版本号，因为评估器会漂：安全分类器更新后误杀上升，应能回滚评估器而不回滚生成模型。日志字段成为合同：缺检索块列表的请求，评估服务应拒绝打「覆盖率通过」——没有材料就没有对齐，不得记正确。

静态闸的顺序有讲究。先格式和必填，再安全，再对齐。对齐最贵，放后面避免对明显垃圾烧钱。动态仿真先跑已知改口路径，再跑压力超时，最后跑对抗。对抗集与训练集隔离：红队样本默认进门禁，不进学习，除非明确标负例并经安全审。否则模型会学会「考试原题」。

流式场景的对齐策略：低伤害句可先出后补校验；高伤害句等对齐。客服里「您的订单在途」可以流式；「可以全额退款」必须等政策块核对。这是目标感知调度在评估侧的对应。影子流量把新策略的输出打分但不展示，人只看与旧策略分歧的样本，人工预算才够用。

开源追踪组件能把评估分留在自有流水线；托管日志可能出不来。选型时把「评估数据能否导出」写成硬条件，否则 5.2 的闭环在合同里就断了。评估器也要校准：每周抽一盒人评，看自动器是否开始偏爱某种文风。神表不存在。

评估服务要有自己的版本，能单独回滚，不要和生成模型绑死。没有检索块列表的请求，不得打覆盖率通过。静态闸先格式和必填，再安全，再昂贵的对齐。动态先跑已知改口路径，再跑超时，最后跑对抗。对抗样本默认只进门禁集，不进学习。流式输出里，低伤害句可以先出后校验，高伤害承诺必须等政策块核对。影子流量让人只看新旧策略分歧样本，人工预算才够。托管若不能导出评估数据，冻结权就不在你侧，选型时应把导出写成硬条件。评估器每周用人评校准，防止它开始偏爱某种文风。

工具链要能在发布当天拦住，也能在上线一周后回滚。把评估想象成两道河闸：河闸一是静态，格式、必填编号、安全、对齐三态；河闸二是动态，影子流量、漂移、对抗。人站在两道闸之间只处理机器和人意见分歧的样本，这才是「评估即服务」的意思，不是再雇十个鉴赏员。对齐器必须输出支持、冲突、不足，不足不得记正确，否则过期材料和空检索会被当成高分。生成模型和打分模型隔离，避免自恋。对抗集与学习数据隔离，避免把考试原题喂回去。延迟敏感时，低伤害句可以边出边检，高伤害句必须等检完。日志是合同：缺字段就拒绝对齐通过。托管平台若把日志锁住，闭环在合同阶段就已失败，应在采购条款里写清导出和冻结。评估器自身要校准，它会漂，会偏爱某种句子，会在安全更新后突然误杀。误杀要有白名单和申诉，不能把过滤器调成静音了事。

两道闸的字段合同要写进接口文档：无检索块不得覆盖通过，无策略版本不得放行对照结论。评估器版本可单独回滚。生成与打分隔离。对抗只进门禁。学习不吃未审用户改写。流式场景按伤害分级等待。影子流量只把分歧给人。托管导出与冻结写进采购。误杀有申诉，过滤器禁止静音。每周校准防止文风偏爱。静态顺序保持格式、安全、对齐。动态顺序保持改口路径、超时、对抗。工具链若不能在发布当天拦住、也不能在一周后回滚，就还不是服务，只是脚本。脚本散落在各业务线，等于没有工具链。

接口文档写明无检索块不得覆盖通过。评估器可单独回滚。生成与打分隔离。对抗只进门禁。托管导出写进采购。误杀走申诉不走静音。散落脚本不等于工具链。两道闸都要能在一周内回滚策略，回滚不了就还只是参观用的仪表。

无检索块不得覆盖通过。评估器单独回滚。打分离隔离。对抗只进门禁。导出写进采购。误杀走申诉。两闸一周内能回滚。散落脚本不算服务。服务要有版本号，版本号要出现在每条拒答日志里，方便追查是闸严了还是模型漂了。

拒答日志必须带评估器版本。版本对不上就无法判断是闸严了还是模型漂了。两闸回滚演练每月一次，演练失败不得升流量。脚本散落各线时，先收成服务再谈智能。

先收成服务，再谈自动学习。

评估即服务的意思是门禁自动化、校准人工化。人只看分歧样本。没有字段合同的对齐通过，等于没有对齐。托管日志锁住则闭环在采购阶段已断。

要点串联

• 抽检十句不是评估：要对着分布做门禁。
• 对齐三态：支持、冲突、不足，不足不等于正确。
• 生成与打分隔离：防止自恋评分。
• 日志能归因：策略、检索、模型、评估器都要有版本。
• 先闸后学：没有拦截的在线学习是盲学。
• 评估器要校准：它会漂。
• 主权很关键：日志若留在别人家，闭环建不成。

下一节把「能不能发」从质量推进到伦理与合规：公平、解释、法规，如何变成同一条发布检查。