并行运行 GridsearchCV()

Posted

技术标签:

【中文标题】并行运行 GridsearchCV()【英文标题】:Running GridsearchCV() in parallel 【发布时间】:2018-07-14 15:30:11 【问题描述】:

并行运行GridsearchCV()RandomizedsearchCV()(具有n_jobs > 1n_job == -1)的计算机硬件要求是什么?

现在所有的计算机都支持吗?

【问题讨论】:

【参考方案1】:

Q:现在所有的计算机都支持吗?A:是的,当然支持。

问题在于流程实例化成本和整个 python 解释器副本的间接影响。更多详情ref. to details explained here。

【讨论】:

你能解释一下平行与那个有什么关系吗? 如果您重新阅读上面的粗体问题,本文将准确回答您在那里提出的问题。今天的计算机同时拥有多核和/或多核单 CPU/多 CPU 硬件资源,足以支持“仅”-[CONCURRENT] 以及在一定程度上还可以在硬件上进行 [PARALLEL] 进程调度级别,因此没有什么会阻止您使用这些硬件支持的处理功能,除非实际代码块或其他 [SERIAL] 是处理块的流程。 谢谢,这意味着我们有时无法从多核中受益,因为(硬件限制(内存)或软件限制(如 Windows 操作系统))在这些情况下,我们必须运行我们的代码连续剧..我的观点正确吗?

以上是关于并行运行 GridsearchCV()的主要内容,如果未能解决你的问题,请参考以下文章

GridSearchCV 处理的出口与评分值连接

为啥 sklearn.grid_search.GridSearchCV 在每次执行时都会返回随机结果?

如何在 GridSearchCV 的 keras 模型的超参数优化中使用简单的验证集?

python中超参数组的并行交叉验证

为啥 GridSearchCV 返回的分数与直接运行模型返回的分数如此不同?

无法使用 sklearn 的 GridSearchCV 运行 tflearn