大模型评测与选型 · 第 9 章 持续跟踪

大模型评测与选型 · 第 9 章 持续跟踪

章节摘要：选型报告签字那天，证据就开始过期——模型是租来的基础设施，不是买断的资产：服务方可以升级权重、调整路由（第 5 章的三通道），你的依赖（工具、检索源、上游 SDK）会变，甚至你自己的 prompt 与系统消息也会在迭代中悄悄变形。9.1 讲版本漂移与再评测节奏：漂移的四个来源与各自的信号（未声明变更、已声明未评估的升级、依赖变更、自己的改动——最后一类最冤枉也最常见）；锚点题集——从盲测 50 题里挑 15~20 道高区分度题做探针；触发器矩阵——周期触发（月度锚点、季度全量）与事件触发（公告、价格变动、判定卡 Suspicious 以上）的组合；升级决策规则——不是"新版更好"而是"锚点上不更差且有我需要的东西"，新旧并行两周再切。9.2 讲跟踪自动化：五组件骨架（调度、锚点重跑、比对、判定、通知留档），漂移监测脚本复用 5.1 判定卡与 5.2 比对思想，告警线从基线自噪声推（±2σ），误报治理先跑 Invalid 自检清单——与 5.1 的判定纪律闭环。

学习目标

阅读完本章，你应当能够：

1. 列出漂移的四个来源并说出各自的信号与排查顺序。
2. 从盲测题集里挑出锚点题并说明锚点的三条标准。
3. 用触发器矩阵编排月度/季度/事件三类再评测。
4. 执行升级决策规则（不更差 + 有需要 + 并行验证）。
5. 搭起漂移监测的最小自动化并设好告警阈值。

核心概念速览

（文字流程图）
B ──▶ C
C ──周期：每月──▶ "锚点重跑（15~20 题）"
C ──周期：每季──▶ "全量 50 题再评测"
C ──事件：公告/价格/告警──▶ "锚点重跑（15~20 题）"
"锚点重跑（15~20 题）" ──▶ "比对 + 判定卡（9.2）·复用 5.1 六类型 + 5.2 指纹比对"
"全量 50 题再评测" ──▶ "比对 + 判定卡（9.2）·复用 5.1 六类型 + 5.2 指纹比对"
"比对 + 判定卡（9.2）·复用 5.1 六类型 + 5.2 指纹比对" ──Match──▶ B
"比对 + 判定卡（9.2）·复用 5.1 六类型 + 5.2 指纹比对" ──异常卡──▶ "Invalid 自检 -> 证据包 -> 沟通/升级决策"
​

一句话金句：模型是租来的基础设施，不是买断的资产——租约条款会变，监测不能停。

子章节导航

9.1 版本漂移与再评测节奏

漂移四来源与信号（含"自己的锅"这一最常见来源）；锚点题集的挑选标准；触发器矩阵（周期 × 事件）；升级决策规则与并行验证；再评测不是重做选型。

9.2 跟踪自动化

五组件骨架（调度、重跑、比对、判定、通知留档）；漂移监测脚本（复用判定卡）与漂移日志；阈值从基线自噪声推；误报治理（Invalid 自检清单）；从个人脚本到团队实践的升级路径。

子章节之间的逻辑关系

9.1 漂移与节奏（定义与排期：什么算漂移、多久测一次、何时升级）
      │  节奏要靠工具落地 ↓
9.2 跟踪自动化（执行：脚本 + 调度 + 告警 + 留档）
      │
      ▼
终局：选型成为循环而不是事件——报告 ⑦ 区块的"复核节奏"由本章兑现
（全书闭环：0.1 的三问 -> 读法/折价/自测/决策 -> 回到三问，带上新证据）
​

前置知识与后续延伸

前置知识：

• 5.1 判定卡与 5.2 自查流水线（自动化的判定与比对直接复用它们）；
• 6.1 盲测题集（锚点题集的母本）；2.2 的噪声带思维（告警阈值的来源）；
• 8.1 的归因四分（漂移排查时的"先查自己、再查依赖、最后查服务方"同源）。

为后续奠定基础：本章是全书的最后一章方法论——它把"三问框架"变成一个可以永久运转的循环；9.2 的最小自动化要长成体系化回归集与线上监控时，转《Evals 实战》第 3 章（建设者篇）——那是 0.2 分工表里两书交汇后的延伸方向。附录 A/B/C 提供术语、平台速查与练习，供随时回查。