偏见与 LLM 中的代表性伤害

偏见与 LLM 中的代表性伤害

本节摘要:Gallegos、Rossi、Barrow、Tanjim、Kim、Dernoncourt、Yu、Zhang、Ahmed(Computational Linguistics 2024,arXiv:2309.00770)。奠基性 2024 综述,区分代表性伤害(刻板印象、抹除)与分配性伤害(资源不平等分配),把评估指标分为基于嵌入、基于概率、基于生成文本三类。2024-2025 经验:An 等(PNAS Nexus,2025 年 3 月)跨 GPT-3.5 Turbo、GPT-4o、Gemini 1.5 Flash、Claude 3.5 Sonnet、Llama 3-70B,在 20 个入门级岗位的自动简历评估上测量交叉性别 × 种族偏见。WinoIdentity(COLM 2025)为交叉身份引入基于不确定性的公平评估。Yu 与 Ananiadou 2025 在 MLP 层识别性别神经元;Ahsan 与 Wallace 2025 用 SAE 揭示临床种族偏见;Zhou 等 2024(UniBias)操纵注意力头去偏。元批评(arXiv:2508.11067):十年文献不成比例地聚焦二元性别偏见。

对应原课程:Phase 18 · Lesson 20 · bias-representational-harm(原英文 phases/18-ethics-safety-alignment/20-bias-representational-harm/docs/en.md)。前置:Phase 05,Phase 18 · 01。

学习目标

阅读完本节,你应当能够:

1. 定义代表性伤害 vs 分配性伤害,各给一个 LLM 部署示例。
2. 说出 Gallegos 等 2024 的三类评估指标,各描述一个指标。
3. 描述交叉性(intersectionality),以及为什么 WinoIdentity 的基于不确定性的公平测量填补了单轴偏见评估的空白。
4. 描述两种偏见的机制可解释性方法(性别神经元、SAE 特征、注意力头操纵)。
5. 说明元批评「聚焦过窄」如何通过忽视伤害边缘群体。

一、问题与直觉

前面各节覆盖故意伤害(越狱、谋算)与安全治理。偏见是无意图涌现的伤害——来自训练数据分布、提示框架、累积设计选择。测量和降低它是与对抗鲁棒性不同的方法论挑战。

代表性 vs 分配性

• 代表性伤害:刻板印象、抹除、贬低描绘。把护士描绘成全是女性的 LLM 在产代表性伤害。
• 分配性伤害:不平等的物质结果。把黑人申请者简历系统性打低分的 LLM 在产分配性伤害。

两者不同。一个模型可以「代表性无偏」(产出多元描绘)却「分配性有偏」(做不平等推荐)。评估需同时测两者。

三类评估指标(Gallegos 等 2024)

• 基于嵌入:pre-RLHF 嵌入上的 WEAT 形测试。测量身份词与属性词的统计关联。局限:测表征,不测行为。
• 基于概率:刻板印象确认 vs 违反的补全的对数似然。解码端测量。捕获部分行为偏见。
• 基于生成文本:生成文本的下游任务测量。简历打分、推荐撰写、对话。最具生态效度;最难复现。

交叉性

「性别」轴的偏见评估会错过只在 (性别, 种族) 对上才触发的偏见。An 等 2025 发现 GPT-4o 在简历打分上对黑人女性的惩罚大于对黑人男性与白人女性单独的惩罚。单轴评估无法捕获。WinoIdentity(COLM 2025)引入基于不确定性的交叉公平——它测模型在交叉身份元组上的结果不确定性是否不同,而非仅点预测。这能抓住「模型在各群组上同样错,但对某些更不确定」的情况,而这会产出不同的下游分配行为。

机制方法

2024-2025 可解释性工作把偏见打开到机制干预:

• 性别神经元(Yu 与 Ananiadou 2025):特定 MLP 神经元与性别特定行为相关。消融这些神经元以有限能力代价降低性别差距指标。
• 经 SAE 的临床种族偏见(Ahsan 与 Wallace 2025):稀疏自编码器特征把内部表示分解为可解释维度;种族相关特征可被识别与抑制。
• UniBias(Zhou 等 2024):零样本去偏的注意力头操纵。特定头放大身份类别敏感度;置零或重加权这些头无需微调即可降偏。

元批评

十年文献综述(arXiv:2508.11067,2025)发现领域不成比例聚焦二元性别偏见。其他轴——残障、宗教、移民身份、多语言身份——受关注远少。元批评主张,窄聚焦会通过忽视伤害边缘群体:一个在二元性别上良好去偏的模型,可能在无人检查的维度上严重有偏。

二、从零实现

code/main.py 构造玩具基于嵌入的偏见探针:在简单共现嵌入上测身份词与属性词的 WEAT 形距离。你可以注入偏见、观察指标触发;施加简单去偏操作、观察部分恢复。

def weat_score(embed, identity_terms, attribute_terms):
    # 身份词与属性词的统计关联强度
    return association(embed, identity_terms, attribute_terms)

def debias(embed, direction):
    # 移除嵌入中的性别方向
    return embed - projection(embed, direction)
​

💡 关键观察:WEAT 形指标在去偏后不会降到零——因为偏见既在显式方向上,也在残余统计关联里。这就是为什么生产去偏必须多层叠加:嵌入去偏 + 概率侧约束 + 生成文本下游评估,且必须覆盖交叉性。

三、框架对比

设计要点:三类指标互补——嵌入测表征、概率测解码行为、生成文本测下游生态效度。机制方法(神经元/SAE/注意力)提供可干预的偏见载体,但机制消融≠全部去偏。交叉性必须贯穿三类,否则会错过单轴评估看不见的偏见。

四、可复用产物

本节产出 outputs/skill-bias-eval.md:给它一份模型卡或公平性主张,它跨三类指标(嵌入、概率、生成文本)审计评估、检查交叉性覆盖、检查任何去偏干预的机制。

code/main.py 是独立玩具,共现嵌入可换成真实模型嵌入,WEAT + 去偏逻辑不变。

五、练习

1. Easy:运行 code/main.py,报告去偏前后的 WEAT 形偏见分数,解释为什么指标不降到零。

2. Medium:给探针加一个交叉测试:(性别, 种族) × (职业, 家庭)。报告跨轴偏见分数。

3. Medium:读 An 等 2025(PNAS Nexus),识别他们报告的两个单轴性别评估会错过的交叉效应。

4. Hard:Yu 与 Ananiadou 2025 识别性别神经元。草拟一个证伪实验,区分「这些神经元造成性别偏见」与「这些神经元相关于性别偏见」。

5. Hard:元批评主张领域过窄聚焦二元性别。选一个研究不足的轴,描述其代表性伤害测量协议。

本节要点回顾

1. 两类伤害:代表性(刻板印象/抹除)与分配性(不平等物质结果),两者不同,需同时测。
2. 三类评估指标:嵌入(WEAT,测表征)、概率(对数似然,测解码行为)、生成文本(下游任务,最具生态效度)。
3. 交叉性:只在 (性别, 种族) 等交叉才触发的偏见,单轴评估看不见;WinoIdentity 用不确定性测交叉公平。
4. 机制方法:性别神经元(MLP 消融)、SAE 特征(种族相关可抑制)、UniBias(注意力头零样本去偏)——可干预但机制≠全部。
5. 元批评:十年文献过窄聚焦二元性别,通过忽视伤害其他轴(残障/宗教/移民/多语言)的边缘群体。
6. 工程多层叠加:嵌入去偏 + 概率约束 + 生成文本评估 + 交叉性贯穿,任一单层都不充分。

下一节,我们从「测偏见」转向「定义公平标准」——群体公平、个体公平、反事实公平,以及它们为何不可能同时满足。