10.2 位置偏差
10.2 位置偏差
本节摘要：位置偏差指选项顺序影响概率分布——同一道题、同样的选项，正序问与打乱后问，模型可能给出不同的答案与置信。这不是 laya 独有的缺陷，Jev 与 Kev 同样存在，Kev 官方甚至在 Playground 里提供了 permute 实验来量化它。本节给一套可落地的三步法：先检测（打乱重测算漂移、逐位置统计算倾向），再缓解（训练侧的顺序增强、推理侧的对称化取均值），最后算账（对称化让推理次数乘以打乱轮数，延迟与算力预算要重新核对第 0.1 节的三轴）。结论先行：位置偏差无法根除，只能测量、压低并在验收指标里给它留位置（第 9.3 节的错误预算）。
学习目标
- 复现位置偏差的检测：打乱重测与逐位置统计。
- 区分「漂移小但答案稳定」与「漂移大且答案翻转」两种严重程度。
- 选择缓解手段：顺序增强、推理时对称化，或两者结合。
- 计算对称化的推理成本，判断它是否还在延迟预算内。
一、现象与量化口径
位置偏差的经典表现：一道四选一的选择题，正确答案放在 A 位置时模型给 0.72 的置信，放到 D 位置时掉到 0.58，甚至换选别的选项。量化它需要两个数：
| 指标 | 定义 | 判读（示意口径） |
|---|---|---|
| 答案翻转率 | 多轮打乱中最终答案发生改变的比例 | 超过 5% 视为显著，需要干预 |
| 置信漂移 | 同一选项在不同位置的概率极差 | 超过 0.15 视为漂移明显 |
| 位置倾向 | 正确项在各位置时命中率的离散度 | 靠前/靠后系统性偏移都要记录 |
三个数一起看才能定级：翻转率高是真问题（结果不可信）；只有置信漂移是校准问题（进第 7 章的流程）；只有位置倾向是数据问题（训练分布里位置不均衡）。
二、检测：打乱重测与逐位置统计
# position_probe.py —— 位置偏差检测：多轮打乱 + 逐位置统计 import random from collections import defaultdict def probe_position_bias(model, context, question, options, label, rounds=8, flip_alert=0.05, drift_alert=0.15): answer_set, label_probs_by_pos = set(), defaultdict(list) for _ in range(rounds): order = list(range(len(options))) random.shuffle(order) shuffled = [options[i] for i in order] pred = model.predict(context, question, shuffled) winner = order[pred["choice"]] # 还原到原始选项编号 answer_set.add(winner) for rank, orig_idx in enumerate(order): # 记录正确项每轮所处的位置 if orig_idx == label: label_probs_by_pos[rank].append(pred["probs"][rank]) answers = list(answer_set) all_probs = [p for probs in label_probs_by_pos.values() for p in probs] return { "答案翻转": len(answers) > 1, # 多轮打乱答案是否唯一 "答案数": len(answers), "置信极差": round(max(all_probs) - min(all_probs), 3) if all_probs else None, "翻转率预警": len(answers) > 1, # 单题级：出现翻转即预警 "打乱轮数": rounds, }
两个使用要点。其一，逐位置统计要跨题聚合：单道题的打乱只是抽样噪声，把几十道题的正确项轮流放到各个位置、统计每个位置的命中率，才能看出系统性倾向。其二，检测集要从验证集里抽，不要用微调集——微调集如果做过顺序增强，测出来的偏差会偏小（这是好事，但要知道测的是什么）。
三、缓解：训练侧与推理侧
| 手段 | 侧别 | 做法 | 代价 |
|---|---|---|---|
| 顺序增强 | 训练侧 | 微调数据里每道题生成多个顺序版本（第 5 章） | 训练量翻倍，推理零开销 |
| 对称化 | 推理侧 | 同一题打乱 N 轮，概率取平均后再定答案 | 推理次数 ×N，延迟 ×N |
| 位置分层 | 标注侧 | 重要选项轮流放不同位置，避免标注偏置 | 标注流程复杂一点 |
| 固定排序 | 工程侧 | 约定选项按稳定规则排序（如字母序） | 只是掩耳盗铃，不推荐单独用 |
推理侧对称化的实现很短，但账要算清：laya 单次决策官方口径 32.8 毫秒，四轮对称化就是四倍延迟（约 131 毫秒，官方口径推算），对第 0.1 节「毫秒级」的卖点构成直接侵蚀。所以工程上的常见组合是：训练侧先做顺序增强压低偏差，推理侧只在高风险问题（金额大、不可逆）上开两轮对称化。
# symmetrize.py —— 推理侧对称化：打乱 N 轮取概率均值 import random def symmetrized_predict(model, context, question, options, rounds=2): # 累加每个原始选项在所有打乱轮次中的概率 prob_sum = [0.0] * len(options) for _ in range(rounds): order = list(range(len(options))) random.shuffle(order) pred = model.predict(context, question, [options[i] for i in order]) for rank, orig_idx in enumerate(order): prob_sum[orig_idx] += pred["probs"][rank] avg = [p / rounds for p in prob_sum] best = max(range(len(options)), key=lambda i: avg[i]) return {"choice": best, "probs": [round(p, 4) for p in avg], "rounds": rounds}
四、把位置偏差写进验收与监控
位置偏差的最终归宿不是消灭，而是被管理：第 9.3 节迁移验收的一致率指标里，应包含「打乱稳健性」子项；上线后的例行监控里，抽一小部分生产问题做周期性打乱重测，翻转率抬升就是重训或重校准的信号。Kev 官方把 permute 做成 Playground 常驻实验（《Kev 实战：训练并运行你自己的决策模型》第 06 章《Playground 实验场》），思路相同：让这类偏差随时可复现、可比较，而不是等事故后再找原因。
五、常见问题与排查
| 问题 | 排查顺序与处置 |
|---|---|
| 打乱多少轮才可信 | 8~10 轮起步（示意值）；轮数加倍后翻转率读数仍不稳，说明该题本身处于决策边界，标记为难例单独看 |
| 翻转率超过 5% 先做什么 | 先重跑一遍确认非采样噪声 → 按类型分桶找翻转集中的题面规律 → 规律成簇则把该簇加入微调数据（顺序增强） |
| 顺序增强后训练量翻倍，算不算过拟合 | 数据重复不等于过拟合：以留出集判定——留出集分数不降即安全；分数降则减少增强倍数 |
| 哪些问题算「高风险」值得对称化 | 金额大、不可逆、触发合规动作用的决策（第 7.3 节代价矩阵的高代价格）；列表写进配置而非代码 |
| 对称化后延迟超预算怎么办 | 降轮数（四轮→两轮）→ 只对超阈值边缘样本动态开对称化（置信在 0.5~0.7 区间的才打乱，示意区间）→ 仍超则回第 9.2 节重新分流 |
| 位置偏差会随时间变化吗 | 会：输入分布漂移或重训之后都会变；例行监控（每周抽样打乱重测）就是为捕捉它 |
一句话总结排查思路：位置偏差是「测得准才治得了」的问题——先让检测跑起来（本节二的脚本），再谈缓解与成本。
本节要点回顾
- 位置偏差是三款决策引擎共有的缺陷，量化靠三个数：翻转率、置信漂移、位置倾向。
- 检测分两层：单题打乱重测（预警）与跨题逐位置统计（系统性倾向）。
- 缓解首选训练侧顺序增强（一次性成本），推理侧对称化留给高风险问题（延迟 ×N）。
- 固定排序不解决问题；周期性打乱重测应进入运维监控。
下一节是最后一笔账：高基数场景的边界与校准自理——为什么说 laya 的运维不是一次性的，而是一份长期合同。