4.2 偏见检测工具实战

4.2 偏见检测工具实战

本节摘要：上一节我们手写了公平性指标的计算，但生产环境里更实用的是用成熟的工具库自动化这个过程。本节讲两个主流的偏见检测与缓解工具：微软的 Fairlearn 和 IBM 的 AIF360。Fairlearn 的核心是 MetricFrame——把任意指标按受保护群体分解，一眼看出差异；它还提供 ThresholdOptimizer 做后处理去偏见。AIF360 提供完整的偏见检测指标（差异影响、均值差异）和预处理算法（如 Reweighing 重加权）。本节讲清两者的用法、数据流，以及怎么选。

学习目标

阅读完本节，你应当能够：

1. 用 Fairlearn 的 MetricFrame 把准确率、TPR 等指标按群体分解
2. 计算差异影响（Disparate Impact）和均值差异，判断是否存在偏见
3. 用 AIF360 加载带受保护属性的数据集并跑检测
4. 理解 Fairlearn 和 AIF360 在设计哲学上的差别
5. 把偏见检测集成进模型的评估流程

问题与直觉

上一节我们手写了统计均等、机会均等的计算函数，这对理解原理很好，但生产里不够用。真实的公平性检测要同时算多个指标、按多个群体分解、生成可交付的报告，手写既容易错又慢。更要命的是，偏见检测往往要嵌进模型的训练评估流程里——每训一个新模型都要跑一遍，靠手动根本跟不上迭代节奏。

这就是为什么社区造了专门的工具库。两个最主流的是 Fairlearn（微软出品）和 AIF360（IBM 出品）。它们的定位略有差别：Fairlearn 更轻量，核心是"把指标按群体分解"加"几种去偏见算法"，适合嵌进已有的 sklearn 流程；AIF360 更全面，自带数据集、完整的指标体系、从预处理到后处理的一整套算法，更像一个"公平性集成化框架"。

选哪个不是关键，关键是把偏见检测从"一次性手工分析"变成"每次训练自动跑的常规检查"。就像你不只测准确率，还要测公平性指标，两者都达标模型才能上线。

核心原理

2.1 Fairlearn：用 MetricFrame 分解指标

Fairlearn 的核心抽象是 MetricFrame——你给它一个指标函数（比如准确率、TPR）、真实标签、预测值、受保护属性，它自动把指标按群体算一遍，输出每个群体各自的值和差异。

from fairlearn.metrics import (
    MetricFrame, selection_rate, true_positive_rate,
    false_positive_rate, accuracy_score,
)

# 假设 model 已经训好,X_test 有 'gender' 列(0 男 1 女)
y_pred = model.predict(X_test)
y_true = y_test
protected = X_test["gender"]

# 一次性定义要算的所有指标
metrics = {
    "accuracy": accuracy_score,
    "selection_rate": selection_rate,        # 选择率(正结果比例)
    "true_positive_rate": true_positive_rate,
    "false_positive_rate": false_positive_rate,
}

# MetricFrame 自动按群体分解
metric_frame = MetricFrame(
    metrics=metrics,
    y_true=y_true,
    y_pred=y_pred,
    sensitive_features=protected,
)

# 一行输出每个群体各自的指标值
print(metric_frame.by_group)
# 可能输出:
#           accuracy  selection_rate  true_positive_rate  false_positive_rate
# gender
# 0          0.89          0.45               0.82                0.12
# 1          0.86          0.28               0.75                0.18   <- 女性选择率明显低
​

这种"一眼看出哪个群体被区别对待"的能力，是手动计算比不上的。从上面的输出立刻能发现：女性的选择率（0.28）远低于男性（0.45），存在明显的分配偏见。

2.2 Fairlearn 的差异度量

MetricFrame 还提供差异的汇总，帮你快速判断"差异有多大"：

# difference:最大值减最小值(群体间最大差距)
print(metric_frame.difference())
# ratio:最小值除以最大值(差异影响,1 表示完全平等)
print(metric_frame.ratio())
# 输出类似:
# accuracy           0.03
# selection_rate     0.17   <- 选择率差距大
# ratio:
# selection_rate     0.62   <- 远低于 0.8 的合规阈值
​

ratio 尤其重要——它对应法规里的"差异影响"（disparate impact）指标，五分之四规则要求这个比值不低于 0.8。上面 0.62 明显不达标。

整个偏见检测在模型评估流程里的位置，可以用下面这张图理解——它和准确率评估是并行的两条线，都要达标模型才能上线：

2.3 AIF360：完整的公平性框架

AIF360 的设计更"重"，它有自己的数据结构（BinaryLabelDataset 等），自带经典数据集（如 German credit），提供差异影响、均值差异等指标，以及从预处理到后处理的全套算法。

from aif360.datasets import GermanDataset
from aif360.metrics import BinaryLabelDatasetMetric

# 加载带受保护属性的数据集
dataset = GermanDataset(
    protected_attribute_names=["sex"],
    privileged_classes=[["male"]],     # 指定特权群体
    features_to_drop=["personal_status", "sex"],
)

# 计算数据集层面的公平性指标
metric = BinaryLabelDatasetMetric(
    dataset,
    unprivileged_groups=[{"sex": 0}],   # 非特权群体(女性)
    privileged_groups=[{"sex": 1}],     # 特权群体(男性)
)

# 差异影响:特权与非特权群体正结果率之比
di = metric.disparate_impact()
print(f"差异影响: {di:.3f}")
# 输出 0.65 表示女性获得正结果的比例只有男性的 65%(<0.8 不达标)

# 均值差异:两个群体正结果率的绝对差
md = metric.mean_difference()
print(f"均值差异: {md:.3f}")
​

2.4 两个工具的设计哲学对比

💡 关键直觉：两个工具不是二选一。Fairlearn 适合快速给已有模型加公平性检查（几行代码出报告），AIF360 适合需要深度定制公平性 pipeline 的项目。很多团队用 Fairlearn 做日常监控，用 AIF360 做深入的偏见分析和去偏见实验。

工程实践要点

3.1 把偏见检测嵌进评估流程

偏见检测不应该是一次性的事，而要嵌进每次模型训练后的评估流程。一个好的实践是写一个统一的评估函数，准确率和公平性一起算：

def evaluate_with_fairness(model, X, y, protected_attr):
    """统一评估:准确率 + 公平性"""
    y_pred = model.predict(X)

    # 1. 传统性能指标
    from sklearn.metrics import accuracy_score, f1_score
    performance = {
        "accuracy": accuracy_score(y, y_pred),
        "f1": f1_score(y, y_pred),
    }

    # 2. 公平性指标(用 Fairlearn)
    metric_frame = MetricFrame(
        metrics={"selection_rate": selection_rate,
                 "accuracy": accuracy_score},
        y_true=y,
        y_pred=y_pred,
        sensitive_features=protected_attr,
    )

    fairness = {
        "selection_rate_by_group": metric_frame.by_group.to_dict(),
        "selection_rate_ratio": float(metric_frame.ratio()["selection_rate"]),
        "fair": float(metric_frame.ratio()["selection_rate"]) >= 0.8,
    }

    return {"performance": performance, "fairness": fairness}
​

⚠️ 常见坑：别只看整体准确率就上线。一个整体准确率 90% 的模型，可能在男性上 95%、女性上只有 75%——整体数字掩盖了群体差异。每次评估都要把指标按受保护属性分解，看群体间的差异，而不只是看总平均值。

3.2 用 AIF360 做预处理：重加权

检测出偏见后，AIF360 提供了多种缓解算法。最简单的是 Reweighing（重加权）——它给每个样本算一个权重，让特权和非特权群体在正负结果上的分布更平衡，训练时用这个权重。

from aif360.algorithms.preprocessing import Reweighing

# 在训练数据上做重加权
rw = Reweighing(
    unprivileged_groups=[{"sex": 0}],
    privileged_groups=[{"sex": 1}],
)
dataset_transformed = rw.fit_transform(dataset)

# 训练时把样本权重传进去
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(
    dataset_transformed.features,
    dataset_transformed.labels.ravel(),
    sample_weight=dataset_transformed.instance_weights,  # 关键:公平权重
)

# 验证:重加权后差异影响应该改善
y_pred_fair = model.predict(dataset.features)
​

3.3 监控偏见漂移

偏见不是静态的。模型上线后，数据分布会变，原本公平的模型可能慢慢变得不公平。所以要把公平性指标纳入持续监控，定期（每周或每月）重算，发现指标恶化就触发告警。

def monitor_fairness_drift(current_metric, baseline_metric, threshold=0.1):
    """监控公平性指标的漂移"""
    drift = abs(current_metric - baseline_metric)
    if drift > threshold:
        alert = (
            f"公平性指标漂移 {drift:.3f}(基线 {baseline_metric:.3f} "
            f"-> 当前 {current_metric:.3f}),建议复查模型"
        )
        return {"drift": float(drift), "alert": alert}
    return {"drift": float(drift), "alert": None}
​

💡 关键直觉：公平性和准确率一样会随时间漂移。上线时公平不代表三个月后还公平。把公平性指标和准确率一起放进监控 dashboard，定期复查，是负责任的做法。

3.4 工具选型决策

收获清单

• Fairlearn 的 MetricFrame 一行代码把指标按群体分解，立刻看出哪个群体被区别对待。
• ratio 对应差异影响，法规要求不低于 0.8（五分之四规则），低于就是不达标。
• AIF360 是集成化框架，自带数据集和从预处理到后处理的全套算法，适合深度定制。
• 两个工具不是二选一：Fairlearn 适合日常快速检查，AIF360 适合深入分析和定制 pipeline。
• 偏见检测要嵌进每次评估并持续监控，上线时公平不代表一直公平，数据漂移会让公平性恶化。

下一节看检测出偏见后怎么消除——预处理、训练中、后处理三种技术，配招聘、信贷、司法的真实案例。

工程补充：把偏见检测嵌进 CI 的实践细节

把公平性检测从"季度报告"搬进持续集成，细节决定成败。首先是受保护属性的获取问题：生产系统里往往不能收集种族、性别这类敏感字段，成熟的替代方案是用代理变量（如邮政编码、设备型号）做近似分组，或者用公平学习不经意（fairness through unawareness）的思路只监控结果分布——但要在文档里写清楚近似方法的局限，别把代理分组当成真值。其次是阈值管理：公平指标和准确率一样会随数据漂移波动，告警阈值不能拍脑袋，建议用历史版本的指标分布定出置信区间，超界才报警，否则告警疲劳一周就把这套系统关了。第三是计算成本：MetricFrame 的分组评估本质是把评估集按群体切分各算一遍，群体多、交叉维度多时计算量翻倍，CI 里跑剪枝版（抽样 + 核心指标），完整版留到发版前。最后一点 organizational：偏见检测的失败要和功能测试失败同级对待——设了门禁却允许手动跳过的团队，半年后门禁就成了装饰品。

补充一个跨工具的实操细节：Fairlearn 与 AIF360 的数据接口并不互通，混用时要自己写适配层。Fairlearn 的 MetricFrame 接受的是预测数组和敏感特征数组，AIF360 则要求先封装成它的 BinaryLabelDataset 格式，字段命名有严格约定（标签列、受保护属性列、有利结果的定义）。踩过坑的团队通常会在中间抽一层领域对象，把模型输入输出和公平性元数据统一管理，再分别适配两个工具的入口。这个适配层写好后，后续换工具、加指标都很轻，值得一次性投入。另外 AIF360 的指标计算默认二分类，多分类场景要先转成多个一对其余的二分类任务再聚合，文档里写得简略，动手前要有预期。

补充一个数据视角的实践经验：分组样本量决定指标的可信度。少数群体的样本占比过低时，分组指标会剧烈抖动——三十个样本上算出的通过率差，可能纯粹是随机波动。检测报告里每个分组都应附样本量，低于统计下限的分组结论要标注"样本不足，仅供参考"，必要时合并相近分组或延长观测窗口再下结论。忽视这一点的团队容易陷入"每个月都在报警又每个月都查不出问题"的空转。

另一个值得投入的实践是建立偏见的"基线档案"：系统上线时把各分组的指标快照、数据分布、当时的业务环境记档，之后每次指标漂移都先对照基线做差分归因——是数据变了、人群变了、还是模型真的退化了。没有基线档案的团队面对漂移只能瞎猜，有了它，归因会议从互相指责变成按证据说话。这份档案的维护成本极低，一份带说明的数据表而已，但它决定了你能否回答审计里最难的那个问题：你们怎么知道现在比以前更好还是更坏了。

补充一个和特征工程的配合细节：有些特征天生是受保护属性的强代理，邮政编码之于地域、购物品类之于性别，公平检测发现分组差异时，先算一遍各特征与受保护属性的相关性，把强代理特征列出来单独评审，它们往往就是偏见的传导路径。删掉代理会掉准确率，保留又传导偏见，这个取舍要在评审会上明着做，而不是让特征工程默默决定。