为啥我的 scikit learn 的 plot_learning_curve 在谷歌 VM 上运行不快？

Posted 2023-02-23

【中文标题】为啥我的 scikit learn 的 plot_learning_curve 在谷歌 VM 上运行不快？

【英文标题】：Why is the my plot_learning_curve of scikit learn not running faster on a google VM?为什么我的 scikit learn 的 plot_learning_curve 在谷歌 VM 上运行不快？

【发布时间】：2018-09-14 22:00:05

【问题描述】：

我正在运行一个从 scikit-learn 官网借来的 sn-p 来绘制learning curve

我的代码很简单，如下所示：

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve
from sklearn.model_selection import ShuffleSplit
from sklearn.metrics import r2_score
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split


from lightgbm import LGBMRegressor

lgb = LGBMRegressor()
std = StandardScaler()
x = std.fit_transform(df[features])
y = df['total_UPDRS']

title = lgb
cv = ShuffleSplit(n_splits=5, test_size=0.4, random_state=0)
plot_learning_curve(lgb, title, x, y, cv=3, ylim=(0.0, 1.01), n_jobs=16)
plt.show()

我在 16 个 vCPU 和 60GB 内存上运行。这个过程飙升了几分钟，然后它就死了，没有可测量的活动，我不知道设置出了什么问题，因为我可以在我的 Macbook Pro 的本地 Anaconda 安装上输出图表。 （运行只需 10-15 分钟。）我做错了什么？

【问题讨论】：

您能否恢复任何错误消息（以获取代码崩溃/停止的指示）？由于缺少 df ，因此无法重现您的示例。 title = lgb这一行也很可疑（你真的想将图形的标题设置为 `LGBMRegressors 类型的对象吗？）

数据集只是来自帕金森遥测系统上的 UCI 数据存储库。这是一个非常小的数据集，大小为 5876 x 20+ 。当我在 Google Colaboratory Note book [colab.research.google.com/drive/….它可以很好地再现标题处回归量的内容。这就是我不明白的地方，因为 Colaboratory 背后有相同的引擎。

plot_learning_curve 函数是什么？功能defined怎么样？

该函数只是一个基于scikit-learn的学习曲线类的辅助函数[scikit-learn.org/stable/auto_examples/model_selection/…。特征只是一个典型的 numpy 数组，任何来自 scikit learn 的估计器都可以采用。

【参考方案1】：

更新

我能够在 GCE VM 实例和 Google Cloud Datalab 实例中运行下面的代码，并且同时使用 Python 2 和 Python 3。但是，我认为 @987654324 存在一些问题@ 包裹。如果我设置 n_jobs=1 它运行得非常快（不到 1 分钟）。如果我将 n_jobs 设置为 16 或任何可用的内核数量，它会变得非常慢（持续 10-15 分钟）。也许值得在Github Repo 中打开一个问题来了解这一点。

（顺便说一句：看到我没有在 Datalab 中使用 %matplotlib 内联命令，看起来不需要它。）

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve
from sklearn.model_selection import ShuffleSplit
from sklearn.metrics import r2_score
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np

!pip install lightgbm

from lightgbm import LGBMRegressor

def plot_learning_curve(estimator, title, X, y, ylim=None, cv=None,
                        n_jobs=1, train_sizes=np.linspace(.1, 1.0, 5)):

    plt.figure()
    plt.title(title)
    if ylim is not None:
        plt.ylim(*ylim)
    plt.xlabel("Training examples")
    plt.ylabel("Score")
    train_sizes, train_scores, test_scores = learning_curve(
        estimator, X, y, cv=cv, n_jobs=n_jobs, train_sizes=train_sizes)
    train_scores_mean = np.mean(train_scores, axis=1)
    train_scores_std = np.std(train_scores, axis=1)
    test_scores_mean = np.mean(test_scores, axis=1)
    test_scores_std = np.std(test_scores, axis=1)
    plt.grid()

    plt.fill_between(train_sizes, train_scores_mean - train_scores_std,
                     train_scores_mean + train_scores_std, alpha=0.1,
                     color="r")
    plt.fill_between(train_sizes, test_scores_mean - test_scores_std,
                     test_scores_mean + test_scores_std, alpha=0.1, 
                     color="g")
    plt.plot(train_sizes, train_scores_mean, 'o-', color="r",
             label="Training score")
    plt.plot(train_sizes, test_scores_mean, 'o-', color="g",
             label="Cross-validation score")

    plt.legend(loc="best")
    return plt

df = pd.DataFrame.from_csv(parkinson data from https://archive.ics.uci.edu/ml/datasets/parkinsons)

lgb = LGBMRegressor(min_data=1,random_state=5, n_jobs=1)
std = StandardScaler()
x = std.fit_transform(df[['MDVP:Fo(Hz)','MDVP:Fhi(Hz)']])
y = df['status']

title = lgb
cv = ShuffleSplit(n_splits=5, test_size=0.4, random_state=0)
plt = plot_learning_curve(lgb, title, x, y, cv=3, ylim=(0.0, 1.01), n_jobs=1)
plt.show()

---

如果使用 VM 机器而不使用 Jupyter Notebooks 或类似设备： 在我的情况下，我使用 SSH 来访问机器，所以没有用户界面，所以如果我添加 plt.show() 它不会崩溃，但实际上它没有显示任何内容。为了证明它可以正常工作，我添加了：plt.savefig("filename.png")，而不是 plt.show()，它成功地在我的 .py 文件的同一文件夹中创建了一个 filename.png。

我以这种方式导入 matplotlib（遵循this thread）以避免显示错误：

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt

此外，在遇到一些错误后，我将 lgb = LGBMRegressor() 更改为以下内容：lgb = LGBMRegressor(min_data=1)（以下错误声称数据集太小）。

【讨论】：

我在笔记本的开头添加了 %matplotlib 内联语句。所以它应该正确显示图表而没有任何问题。当我使用 xgboost 或 lightgbm 运行它时，我只是遇到了停止。我后来更改了 n_jobs = 1 的设置，问题就消失了。这就是我再次感到困惑的地方。这是否意味着我不能在虚拟环境中的多核上运行。当我在我的 MacBook Pro 上本地运行它时，同样的问题

你实际上在使用这个：cloud.google.com/datalab?或者当你说‘我在 16 个 vCPU 和 60GB 内存上运行时。 '你到底是什么意思？

我都试过了。我在 VM、colaboratory 和 datalab 实例上运行它。对于 VM 和 datalab，我设置了 16vCPU，没有 GPU。

我和你分享的笔记本是我使用 colaboratory 生成的。

@Ghostintheshell 我更新了答案。 “n_jobs”参数确实发生了一些事情，但似乎是由于“lightgbm”包。与 Datalab/VM 无关