来自 scikit-garden 的分位数随机森林的预测速度非常慢

Posted

技术标签:

【中文标题】来自 scikit-garden 的分位数随机森林的预测速度非常慢【英文标题】:Quantile random forests from scikit-garden very slow at making predictions 【发布时间】:2018-12-31 05:02:38 【问题描述】:

我已经开始使用 scikit-garden 包中的分位数随机森林 (QRF)。以前我使用来自sklearn.ensembleRandomForestRegresser 创建常规随机森林。

看起来 QRF 的速度与具有小数据集大小的常规 RF 相当,但随着数据大小的增加,QRF 的预测速度比 RF 慢得多。

这是预期的吗?如果是这样,有人可以解释为什么需要这么长时间来做出这些预测和/或就如何更及时地获得分位数预测提供任何建议。

请参阅下面的玩具示例,我在其中测试了各种数据集大小的训练和预测时间。

import matplotlib as mpl
mpl.use('Agg')
from sklearn.ensemble import RandomForestRegressor
from skgarden import RandomForestQuantileRegressor
from sklearn.model_selection import train_test_split
import numpy as np
import time
import matplotlib.pyplot as plt

log_ns = np.arange(0.5, 5, 0.5) # number of observations (log10)
ns = (10 ** (log_ns)).astype(int)
print(ns)
m = 14 # number of covariates
train_rf = []
train_qrf = []
pred_rf = []
pred_qrf = []

for n in ns:
    # create dataset
    print('n = '.format(n))
    print('m = '.format(m))
    rndms = np.random.normal(size=n)
    X = np.random.uniform(size=[n,m])
    betas = np.random.uniform(size=m)
    y = 3 +  np.sum(betas[None,:] * X, axis=1) + rndms

    # split test/train
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

    # random forest
    rf = RandomForestRegressor(n_estimators=1000, random_state=0)
    st = time.time()
    rf.fit(X_train, y_train)
    en = time.time()
    print('Fit time RF =  secs'.format(en - st))
    train_rf.append(en - st)

    # quantile random forest
    qrf = RandomForestQuantileRegressor(random_state=0, min_samples_split=10, n_estimators=1000)
    qrf.set_params(max_features = X.shape[1] // 3)
    st = time.time()
    qrf.fit(X_train, y_train)
    en = time.time()
    print('Fit time QRF =  secs'.format(en - st))
    train_qrf.append(en - st)


    # predictions
    st = time.time()
    preds_rf = rf.predict(X_test)
    en = time.time()
    print('Prediction time RF = '.format(en - st))
    pred_rf.append(en - st)

    st = time.time()
    preds_qrf = qrf.predict(X_test, quantile=50)
    en = time.time()
    print('Prediction time QRF = '.format(en - st))
    pred_qrf.append(en - st)

fig, ax = plt.subplots()
ax.plot(np.log10(ns), train_rf, label='RF train', color='blue')
ax.plot(np.log10(ns), train_qrf, label='QRF train', color='red')
ax.plot(np.log10(ns), pred_rf, label='RF predict', color='blue', linestyle=':')
ax.plot(np.log10(ns), pred_qrf, label='QRF predict', color='red', linestyle =':')
ax.legend()
ax.set_xlabel('log(n)')
ax.set_ylabel('time (s)')
fig.savefig('time_comparison.png')

这是输出: Time comparison of RF and QRF training and predictions

【问题讨论】:

可以添加数据和完整代码吗? @seralouk 我添加了一个代码示例 有同样的问题。 @TimWilliams 你找到解决方案了吗? @ssh26 不幸的是没有。如果您在这方面取得任何进展,请告诉我 【参考方案1】:

我不是这个或任何分位数回归包的开发人员,但我查看了 scikit-garden 和 quantRegForest/ranger 的源代码,我对为什么 R 版本要快得多有所了解:

编辑:On a related github issue,lmssdd 提到该方法的性能明显低于论文中的“标准程序”。我还没有详细阅读过这篇论文,所以对这个答案持怀疑态度。

skgarden/quantregforest 方法的差异说明

skgardenpredict函数的基本思想是保存所有叶子对应的所有y_train值。然后,在预测新样本时,您收集相关的叶子和相应的y_train 值,并计算该数组的(加权)分位数。 R 版本走捷径:它们只为每个叶节点保存一个随机选择的y_train 值。这有两个优点:它使相关y_train 值的收集变得更加简单,因为每个叶节点中总是只有一个值。其次,由于每片叶子的权重完全相同,因此分位数计算变得更加简单。

由于您只使用每个叶子的单个(随机)值而不是所有叶子,因此这是一种近似方法。根据我的经验,如果你有足够多的树(至少 50-100 棵左右),这对结果的影响很小。但是,我对数学的了解还不足以说明近似值到底有多好。

TL;DR:如何让 skgarden 预测更快

下面是一个更简单的分位数预测 R 方法的实现,用于 RandomForestQuantileRegressor 模型。请注意,函数的前半部分是(一次性)为每个叶子选择随机 y_train 值的过程。如果作者要在 skgarden 中实现这个方法,他们会在逻辑上将这部分移到 fit 方法中,只留下最后 6 行左右,这使得 predict 方法更快。同样在我的示例中,我使用的是从 0 到 1 的分位数,而不是从 0 到 100 的分位数。

def predict_approx(model, X_test, quantiles=[0.05, 0.5, 0.95]):
    """
    Function to predict quantiles much faster than the default skgarden method
    This is the same method that the ranger and quantRegForest packages in R use
    Output is (n_samples, n_quantiles) or (n_samples, ) if a scalar is given as quantiles
    """
    # Begin one-time calculation of random_values. This only depends on model, so could be saved.
    n_leaves = np.max(model.y_train_leaves_) + 1  # leaves run from 0 to max(leaf_number)
    random_values = np.zeros((model.n_estimators, n_leaves))
    for tree in range(model.n_estimators):
        for leaf in range(n_leaves):
            train_samples = np.argwhere(model.y_train_leaves_[tree, :] == leaf).reshape(-1)
            if len(train_samples) == 0:
                random_values[tree, leaf] = np.nan
            else:
                train_values = model.y_train_[train_samples]
                random_values[tree, leaf] = np.random.choice(train_values)
    # Optionally, save random_values as a model attribute for reuse later

    # For each sample, get the random leaf values from all the leaves they land in
    X_leaves = model.apply(X_test)
    leaf_values = np.zeros((X_test.shape[0], model.n_estimators))
    for i in range(model.n_estimators):
        leaf_values[:, i] = random_values[i, X_leaves[:, i]]

    # For each sample, calculate the quantiles of the leaf_values
    return np.quantile(leaf_values, np.array(quantiles), axis=1).transpose()

【讨论】:

以上是关于来自 scikit-garden 的分位数随机森林的预测速度非常慢的主要内容,如果未能解决你的问题,请参考以下文章

R缺失值识别过滤填充(中位数KNN随机森林)

缺失值处理拉格朗日插值法—随机森林算法填充—sklearn填充(均值/众数/中位数)

如何理解概率分布的分位数和上侧分位数?

机器学习算法 - 随机森林之决策树初探

结合来自 Amelia 估算数据的多个随机森林模型

为啥我使用 Keras 与随机森林或 knn 的结果很差?