sklearn.ensemble.GradientBoostingRegressor 是不是支持稀疏输入样本？

Posted 2023-03-12

【中文标题】sklearn.ensemble.GradientBoostingRegressor 是不是支持稀疏输入样本？

【英文标题】：Does the sklearn.ensemble.GradientBoostingRegressor support sparse input samples?sklearn.ensemble.GradientBoostingRegressor 是否支持稀疏输入样本？

【发布时间】：2020-06-18 07:50:44

【问题描述】：

我在有时缺少某些值的数据上使用sklearn.ensemble.GradientBoostingRegressor。我不能轻易地估算这些数据，因为它们有很大的差异，而且估计对它们非常敏感。它们也几乎从不为 0。

documentation of the fit method 表示第一个参数X：

输入样本。在内部，它将被转换为 dtype=np.float32 并且如果将稀疏矩阵提供给稀疏 csr_matrix。

这让我想到 GradientBoostingRegressor 可以处理稀疏输入数据。

但是internally 它使用隐式force_all_finite=True（默认值）调用check_array，因此如果我输入带有NaN 值的csr_matrix，我会收到以下错误：

ValueError: Input contains NaN, infinity or a value too large for dtype('float32')

GradientBoostingRegressor 实际上不支持稀疏数据吗？

更新：

我很幸运，我没有任何有意义的零。我的调用代码现在看起来像这样：

predictors['foobar'] = predictors['foobar'].fillna(0) # for columns that contain NaNs
predictor_matrix = scipy.sparse.csr_matrix(
    predictors.values.astype(np.float)
)
predictor_matrix.eliminate_zeros()
model.fit(predictor_matrix, regressands)

这避免了上述异常。不幸的是，没有eliminate_nans() 方法。 （当我用NaNs 打印一个稀疏矩阵时，它会明确列出它们，所以备用性必须是不包含NaNs 的东西。）

但预测性能没有（明显）改变。

【问题讨论】：

稀疏矩阵只是具有许多零的数组的另一种[有效]表示。如果你有 NaN，稀疏不会帮助你。无论如何，您必须决定插补策略。

【参考方案1】：

也许您可以尝试使用 LightGBM。这是 Kaggle 中关于它如何处理缺失值的讨论：

https://www.kaggle.com/c/home-credit-default-risk/discussion/57918

祝你好运