Windows 上的 Python 并行处理是不是存在任何已知问题？ [关闭]

Posted 2023-02-16

【中文标题】Windows 上的 Python 并行处理是不是存在任何已知问题？ [关闭]

【英文标题】：Are there any known issues with Python parallel processing on Windows? [closed]Windows 上的 Python 并行处理是否存在任何已知问题？ [关闭]

【发布时间】：2020-11-28 14:03:54

【问题描述】：

这可能不是问这个问题的正确地方，但我不确定还有什么地方可以解决这个问题。我的硕士论文旨在尝试使用并行计算来加速随机生物学模拟。我已经为模拟的并行化编写了一些标准格式代码。

此代码适用于我的 9 个模拟中的 7 个，但在其他两个模拟中使用 pool.map 时似乎卡住了。

由于在家工作等和硬件/软件限制，我可以使用的唯一操作系统是适用于 Linux 的 Windows 子系统和 Windows powershell（我都尝试过）。我的主管建议的一件事是，这个问题可能与我的操作系统有关，而且 Windows 在并行化方面可能不如 Linux。但我正在努力寻找任何确凿的证据来支持这一点。

那么，是否有人知道任何论文或其他帖子的链接，这些文章或链接可能会提供一些关于 Windows 操作系统是否存在 Python 并行处理问题的信息？

干杯

【问题讨论】：

FWIW 您可以足不出户在 Windows 下的 VirtualBox 中安装合适的操作系统，如 Linux。或者，足不出户即可免费获得 AWS 免费层 EC2 Linux 机器。

【参考方案1】：

我不了解正式论文，但使用来自dask.org 的 dask 已经取得了很多实际成功所以这是否是一个好的答案在很大程度上取决于你是否只想要结果，或者你是否正在深入研究。

我和我的团队大约一年前开始使用 dask 来并行处理需要数小时才能运行的大型 Pandas/numpy 作业（如果它们没有耗尽内存的话）。使用 dask，我们能够将这些时间缩短到几分钟，并获得成功（即相同）的结果。

仍然建议使用大量 RAM，但并行化功能和流程仪表板/反馈是向前迈出的一大步。