Python多处理(joblib)参数传递的最佳方式
Posted
技术标签:
【中文标题】Python多处理(joblib)参数传递的最佳方式【英文标题】:Python multiprocessing (joblib) best way for argument passing 【发布时间】:2015-07-04 19:01:00 【问题描述】:我注意到在使用多处理(使用 joblib)时有很大的延迟。这是我的代码的简化版本:
import numpy as np
from joblib import Parallel, delayed
class Matcher(object):
def match_all(self, arr1, arr2):
args = ((elem1, elem2) for elem1 in arr1 for elem2 in arr2)
results = Parallel(n_jobs=-1)(delayed(_parallel_match)(self, e1, e2) for e1, e2 in args)
# ...
def match(self, i1, i2):
return i1 == i2
def _parallel_match(m, i1, i2):
return m.match(i1, i2)
matcher = Matcher()
matcher.match_all(np.ones(250), np.ones(250))
因此,如果我像上图所示运行它,大约需要 30 秒才能完成并使用将近 200Mb。 如果我只是在 Parallel 中更改参数 n_jobs 并将其设置为 1 只需要 1.80 秒并且几乎不使用 50Mb...
我想它必须与我传递参数的方式有关,但还没有找到更好的方法......
我使用的是 Python 2.7.9
【问题讨论】:
【参考方案1】:我在不使用 joblib 库的情况下重新编写了代码,现在它可以正常工作了,虽然不是那么“漂亮”的代码:
import itertools
import multiprocessing
import numpy as np
class Matcher(object):
def match_all(self, a1, a2):
args = ((elem1, elem2) for elem1 in a1 for elem2 in a2)
args = zip(itertools.repeat(self), args)
pool = multiprocessing.Pool()
results = np.fromiter(pool.map(_parallel_match, args))
# ...
def match(self, i1, i2):
return i1 == i2
def _parallel_match(*args):
return args[0][0].match(*args[0][1:][0])
matcher = Matcher()
matcher.match_all(np.ones(250), np.ones(250))
这个版本就像一个魅力,只需 0.58 秒即可完成...
那么,为什么它不能与 joblib 一起使用?无法真正理解它,但我猜 joblib 正在为每个进程制作整个数组的副本......
【讨论】:
以上是关于Python多处理(joblib)参数传递的最佳方式的主要内容,如果未能解决你的问题,请参考以下文章
joblib.Parallel 是不是保持传递数据的原始顺序?