Python 中的 multiprocessing.dummy 未使用 100% cpu

Posted 2023-03-15

【中文标题】Python 中的 multiprocessing.dummy 未使用 100% cpu

【英文标题】：multiprocessing.dummy in Python is not utilising 100% cpu

【发布时间】：2014-12-13 11:21:44

【问题描述】：

我正在用 Python 做一个机器学习项目，所以我必须做并行预测功能，我在我的程序中使用它。

from multiprocessing.dummy import Pool
from multiprocessing import cpu_count


def multi_predict(X, predict, *args, **kwargs):
    pool = Pool(cpu_count())
    results = pool.map(predict, X)
    pool.close()
    pool.join()
    return results

问题是我所有的 CPU 只加载了 20-40%（总之是 100%）。我使用 multiprocessing.dummy 是因为我在酸洗功能中的多处理模块存在一些问题。

【参考方案1】：

当您使用multiprocessing.dummy 时，您使用的是线程，而不是进程：

multiprocessing.dummy 复制了multiprocessing 的 API 但不是 不仅仅是threading 模块的包装。

这意味着您受到Global Interpreter Lock (GIL) 的限制，并且一次只有一个线程可以实际执行CPU 密集型操作。这将使您无法充分利用 CPU。如果您想在所有可用内核上获得完全并行性，您将需要解决您遇到的multiprocessing.Pool 酸洗问题。

请注意，如果您需要并行化的工作受 IO 限制，或者使用释放 GIL 的 C 扩展，multiprocessing.dummy 可能仍然有用。但是，对于纯 Python 代码，您需要 multiprocessing。

【讨论】：

或使用非基于 GIL 的 Python 实现，如 Jython 或 IronPython……或从 2015 年导入无 GIL STM 版本的 PyPy。:)

Python threads are real OS threads: they can run in parallel (if there are multiple CPU cores). Only pure Python code is limited by GIL. C extensions such as lxml, regex, numpy can and do release GIL and therefore several threads can and do run in parallel.

@endolith：谁知道呢。可能有很多原因。问题中没有足够的信息。注意：在我发表评论时，答案甚至没有提到可以发布 GIL。假设 所有 性能问题都是由具有多线程的 Python 程序中的 GIL 引起的，这是错误的。