大模型评测与选型 · 第 5 章 模型一致性与身份

大模型评测与选型 · 第 5 章 模型一致性与身份

章节摘要：第 4 章审的是"分数可信吗"，本章审的是更靠前的一环：你测的、你付费的那个模型，还是不是你以为的那个模型。模型即服务意味着你买到的是一个随时可被服务方修改的履约物——权重可以换、量化可以降、请求可以被路由到别的模型，而模型名字一行都不用改。5.1 讲案例与判定：社区已经出现"模型探测器"类的开源项目（2026-09，约 159 star，社区），美国也有针对头部实验室的相关民事诉讼（仅为指控，尚无裁判结论，口径 2026-09）——但本章的重心不是断案，而是交付一致性判定卡：Match / Suspicious / Downgrade / Rerouted / Unlisted / Invalid 六种判定类型，把"感觉模型变笨了"变成可复核的判定流程。5.2 讲指纹比对与自查动作：行为指纹的公开研究思路（2026），接入期留档与常态期复测的清单化做法，以及最小比对脚本。本章让"模型身份"从信任问题变成证据问题。

学习目标

阅读完本章，你应当能够：

1. 说清"名字与权重之间的缝"：为什么模型一致性是选型证据链的一环。
2. 复述案例底账的保守读法：社区工具存在、诉讼仅为指控——判定方法不建立在个案结论上。
3. 默写六种判定类型的判据与动作，并遵守 Invalid 优先的判定纪律。
4. 解释行为指纹的三层信号（元数据、行为、质量）与各自的证据强度。
5. 执行接入期留档与常态期复测的自查清单，跑通最小比对脚本。

核心概念速览

（文字流程图）
B ──"一切在噪声带内"──▶ "Match 一致"
B ──"质量掉 + 风格变"──▶ "Downgrade 疑似降级"
B ──"回答分裂成两簇"──▶ "Rerouted 疑似路由变化"
B ──"元数据变/版本不明"──▶ "Unlisted 未声明版本"
B ──"信号异常但证据不足"──▶ "Suspicious 可疑"
B ──"探针自身故障"──▶ "Invalid 判定无效"
"Suspicious 可疑" ──▶ "判定卡 + 证据包·（5.1）"
"Invalid 判定无效" ──▶ "判定卡 + 证据包·（5.1）"
"判定卡 + 证据包·（5.1）" ──▶ "自查流水线：留档基线 → 定期复测 → 指纹比对（5.2）"
"自查流水线：留档基线 → 定期复测 → 指纹比对（5.2）" ──▶ "进入第 6 章：把证据抓回自己手里"
​

一句话金句：你选的是模型，你接入的是"服务方承诺的那个模型"——两者之间隔着一条可以随时改动而你看不见的缝。

子章节导航

5.1 模型被悄悄换掉：案例与判定

风险的位置与发生机制；案例底账（社区探测器项目、涉实验室诉讼——仅为指控）；一致性判定卡六类型与判定流程；判定后的动作分级；把一致性写进合同与流程。

5.2 指纹比对与自查动作

行为指纹的原理与公开研究底账；元数据、行为、质量三层信号；接入期与常态期自查清单；最小比对脚本（含真实运行输出）；指纹的证据边界。

子章节之间的逻辑关系

5.1 案例与判定（世界观：风险真实存在 + 判定卡六类型——"发现异常后怎么定性"）
      │  定性需要数据 ↓
5.2 指纹比对与自查（方法论：留什么档、测什么探针、怎么比对——"数据从哪来"）
      │
      ▼
第 6 章：无论服务方改没改，你手里的最终证据都该来自自己的盲测
（前半锚点：4.3 结尾"它不验模型身份——那是第 5 章的主题"在此兑现）
​

前置知识与后续延伸

前置知识：

• 4.3 可信度核对表（第 2 项"版本与日期可查"是本章的种子）；
• 2.2 的抽样思维（"变笨了"是不是噪声，要用区间说话）。

为后续奠定基础：5.1 的判定卡是第 9 章版本漂移告警的判型组件；5.2 的基线留档是第 6 章盲测的"顺手副产品"——盲测跑完的那套题，就是最好的身份探针。建设者侧的对应物是《Evals 实战》第 3 章回归集——那边把"同一题集定期重跑"做成工程，这边只做选择者够用的最小版本。