9.1 版本漂移与再评测节奏

9.1 版本漂移与再评测节奏

本节摘要：选型结论的有效期，等于"模型与环境的静止期"——而这两者都不会静止。本节先拆漂移的四个来源：服务方未声明变更（第 5 章三通道，指纹信号）、已声明的版本升级（公告有但你的场景没测过——"新版更好"是厂商口径，不是你的证据）、依赖变更（工具版本、检索源、SDK——8.1 归因四分里的环境项随时间自然发生）、你自己的改动（prompt、系统消息、温度参数——最冤枉也最常见，占漂移案例的大头，社区经验）。然后交付两件排期工具：锚点题集——从 6.1 盲测 50 题里挑 15~20 道"分差大、跨轮稳、维度代表性强"的题做常驻探针，月度十分钟跑完；触发器矩阵——周期触发（月度锚点、季度全量）× 事件触发（升级公告、价格变动、判定卡 Suspicious 以上、业务事故）的组合，事件永远插队。最后是升级决策规则：新版要过三关——锚点上不更差、有你需要的新能力、新旧并行两周数据不劣——才切换；并强调再评测不是重做选型，是复核既有证据的结构。

学习目标

阅读完本节，你应当能够：

1. 列出漂移四来源与各自的信号，按"先查自己"的顺序排查。
2. 用三条标准从盲测题集挑出锚点题。
3. 用触发器矩阵编排周期与事件两类再评测。
4. 执行升级决策三关，避免"新版焦虑症"与"钉子户"两个极端。

一、漂移的四个来源

⚠️ 排查顺序"先查自己"是经验之谈（社区）：多数"模型变笨了"的案子，最后在 git 历史里找到凶手——某个"无害的小改动"。没有 prompt 变更记录的团队，等于放弃了最快的排查通道：把 prompt 纳入版本管理，是持续跟踪的第零步。

二、锚点题集：漂移检测的探针

全量 50 题月月跑不现实，从里面挑锚点——15~20 道，三条标准：

1. 分差大：当初盲测里候选模型分差明显的题（区分度高，漂移了才看得见）；
2. 跨轮稳：重复跑两三轮得分稳定的题（把噪声大的题当锚点 = 把烟雾报警器装在灶台上）；
3. 维度代表：五个维度各留 3~4 道，别让某一维独大。

锚点题集冻结后不再修改（5.2 探针纪律同款），它同时服务三个目的：月度漂移检测（本章）、身份指纹的行为层信号（5.2）、升级决策的证据（下文）。

三、触发器矩阵：什么时候测什么

两条编排纪律：事件永远插队（公告不会等你季度到期）；每次触发都留档（判定卡 + 数据快照入 drift_log，9.2 自动化的产物）——半年后回看，趋势比单点有用。

四、升级决策：三关制

新版本发布后的标准动作不是"立即升级"也不是"死守旧版"，是过三关：

1. 不更差关：锚点题集上新旧版本各跑一轮，新版均分不低于旧版减噪声带（2.2）；
2. 有需要关：新版有你的需求矩阵（7.1）加权维度的实质提升——纯"通用能力提升"不构成切换理由（4.2 的传导判据）;
3. 并行关：新旧并行两周（按 7.3 报告的灰度方案），线上指标与锚点分都不劣化，才全量切换。

💡 两个极端都贵："新版焦虑症"每发必升——每次都是没验证的赌博；"钉子户"永不升级——错过的安全修复与价格调整，以及旧版本被下线时的被动迁移。三关制把升级从情绪变成流程。

五、一个漂移处置的完整时间线（示意）

把本章工具串成一条真实节奏（示意场景，日期为构造）：

09-01  月度触发：锚点 18 题重跑 -> 指纹 0.93、锚点分 -0.8pt -> 判定卡 [Match]，留档
09-12  事件触发：服务方发布升级公告（声称推理增强）
       -> 触发器矩阵：公告 -> 锚点重跑（新旧各一轮）
       -> 新版锚点分 +1.5pt（噪声带内）、指纹大变（预期内：权重真的换了）
       -> 过"不更差关"，但需求矩阵无对应加权项 -> 过不了"有需要关" -> 不升级，观察
10-01  月度触发：判定卡 [Suspicious]（指纹 0.81，单项越限）
       -> 加密观测：题量翻倍 + 双时间窗 -> 仍越限 -> 证据包 + 正式沟通（5.1 动作分级）
10-20  服务方确认两周前静默降配，出具补偿与恢复时间表 -> 留档，7.3 报告 ⑥⑦ 区块更新
11-01  恢复后首个周期：锚点分回基线，判定卡 [Match]，节奏回到常态
​

这条时间线里每个动作都有出处：触发器来自第三部分、判定卡来自 5.1、沟通动作来自 5.1 的动作分级、报告更新来自 7.3——持续跟踪不是新体系，是把前八章的工具按日历运转。

💡 观察时间线里的两次"不动作"：升级公告后不升级（过了不更差关、过不了有需要关），Suspicious 首现时不结论（加密观测一轮再定）——克制也是跟踪纪律的一部分，它把有限的深究预算留给真漂移。

六、再评测不是重做选型

边界要划清：再评测复核的是既有证据结构——题集、判分口径、锚点、三角不变，只更新数字；重做选型只在两种情况发生：需求矩阵变了（业务转型、合规要求更新），或现行方案的漂移证据（5.1 判定卡 Downgrade/Rerouted 成立且服务方未解决）。前者回第 7 章重跑漏斗，后者走 7.3 报告的备选启用条款——两条路都写在当初的报告里，这就是"可追责"的价值。

本节要点回顾

1. 漂移四来源：未声明变更、已声明升级、依赖变更、自己的改动——排查先查自己，prompt 必须进版本管理。
2. 锚点三标准：分差大、跨轮稳、维度代表——15~20 题冻结成常驻探针。
3. 触发器矩阵：月度锚点、季度全量、事件插队，每次留档。
4. 升级三关：不更差、有需要、并行两周——升级是流程不是情绪。
5. 再评测 ≠ 重做选型：复核数字为主，矩阵变了才回第 7 章。

节奏定好了，剩下的是让它自动发生——月度十分钟的事靠人记总会断，9.2 把触发、比对、判定、告警装进一个脚本骨架。