mpi4py | comm.bcast 不起作用

Posted 2023-03-27

【中文标题】mpi4py | comm.bcast 不起作用

【英文标题】：mpi4py | comm.bcast does not work

【发布时间】：2018-10-02 18:21:48

【问题描述】：

我正在编写一个简单的 python 脚本来测试 mpi4py。具体来说，我想从给定的处理器（比如rank 0）广播一个标量和一个数组，以便所有其他处理器在后续步骤中都可以访问广播的标量和数组的值。

这是我到目前为止所做的：

from __future__ import division
from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
nproc = comm.Get_size()
rank = comm.Get_rank()

if rank==0:
    scal = 55.0
    mat = np.array([[1,2,3],[4,5,6],[7,8,9]])

    arr = np.ones(5)
    result = 2*arr

    comm.bcast([ result , MPI.DOUBLE], root=0)
    comm.bcast( scal, root=0)
    comm.bcast([ mat , MPI.DOUBLE], root=0) 

for proc in range(1, 3):
    if (rank == proc):
        print "Rank: ", rank, ". Array is: ", result
        print "Rank: ", rank, ". Scalar is: ", scal
        print "Rank: ", rank, ". Matrix is: ", mat

但是，我收到以下错误：

NameError: name 'mat' is not defined
    print "Rank: ", rank, ". Matrix is: ", mat

另外，在我的输出（print "Rank: ", rank, ". Scalar is: ", scal 和 print "Rank: ", rank, ". Array is: ", arr）中，我看不到 scal 和 array 的值。我在这里想念什么？我将非常感谢任何帮助。

【问题讨论】：

顺便说一句，如果你打算用 Python 进行并行处理，你也可以查看 Dask：dask.pydata.org/en/latest 如果你正在执行令人尴尬的并行计算，那么它会是 MPI4Py 的一个很好的替代方案。

@jcgiret：谢谢，我会检查一下:)

【参考方案1】：

我在这里看到两个错误：

您的变量scal 和您的numpy 数组mat、arr 和results 仅在等级0 上定义。它们应该在所有MPI 等级上定义。事实上，由于数据在所有 rank 上广播，因此必须分配变量和 Numpy 数组来存储接收到的结果。 bcast 用于 Python 对象，并经过腌制（例如序列化）以便发送。 Bcast 用于 Numpy 数组。因此，根据您发送/接收的内容，相应地使用不同的调用。此外，他们必须在所有队伍中被召唤。

当我使用 Python 3 时，我还更正了 print 调用。但是，由于从 future

导入 print_function，您应该不会注意到 Python 2 的任何问题

最后，我建议您在此处查看 MPI4Py 教程：http://mpi4py.scipy.org/docs/usrman/tutorial.html。我认为它们涵盖了您可以使用 MPI4Py 执行的大部分操作。

这里有一些工作：

from __future__ import division, print_function
from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
nproc = comm.Get_size()
rank = comm.Get_rank()


scal = None
mat = np.empty([3,3], dtype='d')

arr = np.empty(5, dtype='d')
result = np.empty(5, dtype='d')


if rank==0:
    scal = 55.0
    mat[:] = np.array([[1,2,3],[4,5,6],[7,8,9]])

    arr = np.ones(5)
    result = 2*arr

comm.Bcast([ result , MPI.DOUBLE], root=0)
scal = comm.bcast(scal, root=0)
comm.Bcast([ mat , MPI.DOUBLE], root=0)

print("Rank: ", rank, ". Array is:\n", result)
print("Rank: ", rank, ". Scalar is:\n", scal)
print("Rank: ", rank, ". Matrix is:\n", mat)