在 LightGBM 中使用“predict_contrib”获取 SHAP 值

Posted 2023-02-16

【中文标题】在 LightGBM 中使用“predict_contrib”获取 SHAP 值

【英文标题】：Use 'predict_contrib' in LightGBM to get SHAP-values

【发布时间】：2021-02-23 06:04:03

【问题描述】：

在 LightGBM documentation 中声明可以设置 predict_contrib=True 来预测 SHAP 值。

我们如何提取 SHAP 值（除了使用 shap 包）？

我试过了

model = LGBM(objective="binary",is_unbalance=True,predict_contrib=True)
model.fit(X_train,y_train)
pred_shap = opt_model.predict(X_train) #Does not get SHAP-values

这似乎不起作用

【参考方案1】：

由于两个不同的lightgbm API 中的控制参数重复（命名不一致）而引起混淆。

两个主要 API 中的每一个都使用自己的拼写：

predict_contrib(C) pred_contrib (python)。

而documentation 偏爱 C 版本（python API 拼写甚至不被视为别名...）

【参考方案2】：

Shap 使用pred_contrib=True 来评估LGBM 方式：

from lightgbm.sklearn import LGBMClassifier
from sklearn.datasets import load_iris

X,y = load_iris(return_X_y=True)
lgbm = LGBMClassifier()
lgbm.fit(X,y)
lgbm_shap = lgbm.predict(X, pred_contrib=True)
# Shape of returned LGBM shap values: 4 features x 3 classes + 3 expected values over the training dataset
print(lgbm_shap.shape)
# 0th row of LGBM shap values for 0th feature
print(lgbm_shap[0,:4])

输出：

(150, 15)
[-0.0176954   0.50644615  5.56584344  3.43032313]

来自shap的形状值：

import shap
explainer = shap.TreeExplainer(lgbm)
shap_values = explainer.shap_values(X)
# num of predicted classes
print(len(shap_values))
# shap values for 0th class for 0th row
print(shap_values[0][0])

输出：

3
array([-0.0176954 ,  0.50644615,  5.56584344,  3.43032313])

在我看来是一样的。

【讨论】：

这很奇怪 - 我只是在使用 predict 时得到预测。

尝试逐行复制建议的代码 sn-p 并查看它与您的不同之处/不同之处

啊..找到了！我的模型初始化中有predict_contrib 而不是predict 方法

可能也是原因！

在.predict()方法中应该是pred_contrib=True