第 9 章 · 05 SHAP 模型解释

第 9 章 · 05 SHAP 模型解释

本节摘要:训练出高 IC 的 GBM 之后,一个更难的问题浮现:它到底学到了什么?哪些特征在驱动预测?某个具体样本为什么被这样预测?本节讲清三件事:传统特征重要性(gain/split count/permutation)为什么不一致、不局部;SHAP 值如何借用合作博弈论的 Shapley 值,给出理论上最优、一致、局部准确的特征贡献分解;以及如何用 SHAP 的 summary scatter plot(全局)、dependence plot(单特征+交互)、force plot(单样本局部)三类可视化,从不同尺度审视 GBM。读完本节,你能用 SHAP 把一个黑盒树模型拆成可解释的「特征贡献表」,在信任模型预测前先信任它的逻辑。

内容来源:原项目 12_gradient_boosting_machines/07_model_interpretation.ipynb,汉化并套用体系化模板。

⚠️ 学习提示:SHAP 解释的是「模型学到了什么」,不是「现实是什么」。如果模型在过拟合,SHAP 会忠实地展示「过拟合的逻辑」——它放大模型的透明度,但不评判模型的正确性。

学习目标

阅读完本节,你应当能够:

1. 列举传统特征重要性的三种算法及其局限。
2. 解释 Shapley 值来自合作博弈论的动机与公理。
3. 说清 SHAP 相对传统方法的「一致性」与「局部准确性」优势。
4. 读懂 summary scatter plot、dependence plot、force plot 三类可视化。
5. 区分全局解释(整体)与局部解释(单样本)的用途。

一、为什么需要更好的解释方法

理解模型为什么这么预测,有四重价值:信任(敢不敢用)、可操作(能不能据此改进)、问责(出问题怎么解释)、调试(模型有没有学错)。对金融尤其关键——基金投一个 GBM 选股策略,LP 问「为什么这只票被选上」时不能只回「模型说的」。

传统特征重要性有三类做法:

Lundberg 与 Lee(2017)指出这些方法存在不一致性:一个模型改动让某特征的影响实际变大,这些方法可能反而降低该特征的重要性——这违背直觉,也无法支撑严肃的归因分析。

二、Shapley 值:从博弈论借来的解

Shapley 值(Shapley, 1953)源自合作博弈论:一群玩家合作产生收益,如何公平地把收益分给每个人?它满足一组公理(效率、对称性、虚拟玩家、可加性),是唯一满足这组公理的分配方案。

把这套思想搬到机器学习:特征 = 玩家,预测 = 收益。某特征的 Shapley 值,就是它在所有可能的「特征子集」组合下,边际贡献的加权平均。

这里 v(S) 是只用子集 S 的特征时模型的预测。直观理解:把特征 i「加入」和「不加入」各种组合的预测差,按组合大小加权平均,就是 i 的公平贡献。

💡 核心心法:Shapley 值的精髓是「公平」——它考虑了特征之间所有的协作关系,不偏袒先加入的或后加入的。SHAP 把这套博弈论的最优解,以可计算的代价搬到了树模型上。

三、SHAP:把 Shapley 值算得动

朴素计算 Shapley 值需遍历 2^N 个特征子集,对几十个特征就不可行。Lundberg 与 Lee 的关键贡献是一个 TreeSHAP 算法,把树集成上的复杂度从 O(TLDM) 降到 O(TLD^2)(T、M 是树数与特征数,D、L 是最大深度与叶子数),让「几千棵树 × 几千特征」也能在秒级算出 SHAP 值。

SHAP 的两个理论保证:

局部准确性尤其重要——它意味着你可以把任一预测精确分解为各特征的贡献,加起来正好等于模型输出,没有任何残差。这是传统特征重要性给不了的。

import shap
import lightgbm as lgb

# 用 LightGBM 模型构造 TreeExplainer
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
​

shap_values 是一个与 X_test 同形状的矩阵,每个元素表示该样本该特征对预测的 SHAP 贡献。

四、三类可视化

1. Summary scatter plot(全局)

shap.summary_plot(shap_values, X_test)
​

这是 SHAP 最经典的图:每个点是一个样本,纵轴是特征(按全局重要性排序),横轴是 SHAP 值(对该样本预测的贡献),颜色表示该样本该特征的原始值高低。它比传统特征重要性柱状图丰富得多——一眼能看出「高动量对预测是正贡献还是负贡献、贡献分布是集中还是分散」。

2. Dependence plot(单特征 + 交互)

shap.dependence_plot('return_12m', shap_values, X_test, interaction_index='volatility')
​

展示某个特征的值与其 SHAP 贡献的关系,并自动用颜色叠加一个交互特征——比传统 partial dependence plot 更准,因为它考虑了所有其他特征的真实取值,而不是平均值。

3. Force plot(单样本局部)

shap.force_plot(explainer.expected_value, shap_values[i], X_test.iloc[i])
​

把单个样本的预测分解成「基准值 + 各特征的正/负推力」可视化,像一条河流从基准值流向最终预测——红色特征把预测推高,蓝色拉低。这是回答「这只票为什么被选上」最直接的工具。

五、partial dependence 与 SHAP 的关系

notebook 还演示了 sklearn 的 plot_partial_dependence:

from sklearn.inspection import plot_partial_dependence, partial_dependence
plot_partial_dependence(model, X, features=['return_12m', 'volatility'])
​

PDP 显示「某特征从低到高变化时,模型预测平均怎么变」。它的局限是「平均」——在非线性模型里,特征的影响依赖其他特征的取值,平均曲线会掩盖这种交互。SHAP dependence plot 在这点上更准,因为它保留了每个样本的真实上下文。

六、SHAP 的实战纪律

⚠️ 解释 ≠ 因果:SHAP 告诉你「模型靠什么特征做决策」,不告诉你「现实中这些特征是否真有因果作用」。如果模型在过拟合某个 spurious correlation,SHAP 会忠实地展示这个 spurious 的逻辑——它让黑盒透明,但不让黑盒变聪明。

正确用法:把 SHAP 当「模型审计工具」。训练完先用 SHAP 看一眼全局重要性,如果某个理论上不该重要的特征排第一,大概率是数据泄漏或过拟合;再用 force plot 抽查几个极端样本,确认模型的「决策理由」符合金融常识,再决定是否信任。

本节要点回顾

1. 传统方法不一致:Gain/Split count/Permutation 都可能违反「特征影响变大则重要性不降」的直觉公理。
2. Shapley 值:博弈论的公平分配方案,唯一满足效率、对称、虚拟、可加四公理,考虑所有特征协作关系。
3. TreeSHAP:把树集成上 Shapley 值的复杂度从指数级降到多项式级,秒级算出成千上万特征。
4. 两个保证:一致性(影响变大则 SHAP 不降)、局部准确性(各特征 SHAP + 基准 = 真实预测)。
5. 三类可视化:summary scatter(全局)、dependence(单特征+交互)、force(单样本局部)——分别回答「整体怎么决策」「某特征怎么影响」「这只票为什么被选」。
6. 解释非因果:SHAP 让模型透明但不让它变聪明;过拟合的逻辑会被忠实展示,审计后才能决定是否信任。

下一节,我们看 日内特征与模型——把 GBM 扩展到分钟级 TAQ 数据,挑战更高频的日内建模。