Pathos.multiprocessing 的池似乎是非本地的？

Posted 2023-02-16

【中文标题】Pathos.multiprocessing 的池似乎是非本地的？

【英文标题】：Pathos.multiprocessing's Pool appears to be nonlocal?

【发布时间】：2018-09-28 00:48:01

【问题描述】：

我的代码可以

from pathos.multiprocessing import ProcessingPool
def myFunc(something):
    thispool = ProcessingPool(nodes=Result.cores)
    listOfResults = thispool.map(something)
    return listOfResults

for i in range(1000):
    myFunc(i)

现在，在我实际涉及更多的代码中，内存使用量一直在增长。代码应该什么都不占用，但如果我用 12 个内核运行它，这 12 个内核最初会占用将近 1mb 内存，但在几个小时的运行时间之后，每个内核将占用几个 GB。

所以，我认为该池会泄漏内存，因此我最好在每次迭代后关闭它：

def myFunc(something):
    thispool = ProcessingPool(nodes=Result.cores)
    listOfResults = thispool.map(something)
    thispool.close()
    thispool.join()
    return listOfResults

但是，现在，经过几次迭代，我得到了

ValueError: Pool not running

在this pool.map() 行。如果我创建一个新的

test = ProcessingPool(nodes=4)

并尝试运行test.map()，我得到同样的错误。很奇怪，我已经初始化了一个新变量...pathos.processing.ProcessingPool 是否具有唯一进程池的功能，如果我关闭一个，我将关闭 all？

在没有内存泄漏的情况下，在循环内实现pathos.multiprocessing.ProcessingPool 的正确方法是什么？

当我改用multiprocessing.Pool 时，不会出现问题。

【参考方案1】：

事实证明，通过一些后端魔法，pathos 确实防止了相同类型的池的多个实例被初始化。

为了防止泄漏，可以在每次迭代结束时做

thispool.terminate()
thispool.restart()

【讨论】：

我是pathos 作者。肯定是这样的。