通过 MPI 发送和接收二维数组
Posted
技术标签:
【中文标题】通过 MPI 发送和接收二维数组【英文标题】:Sending and receiving 2D array over MPI 【发布时间】:2011-08-19 13:52:15 【问题描述】:我要解决的问题如下:
我在大型二维矩阵中计算的 C++ 串行代码。为了优化这个过程,我希望分割这个大的 2D 矩阵并使用 MPI 在 4 个节点(比如)上运行。节点之间发生的唯一通信是在每个时间步结束时共享边值。每个节点与其邻居共享边数组数据 A[i][j]。
基于对 MPI 的阅读,我有以下方案要实现。
if (myrank == 0)
for (i= 0 to x)
for (y= 0 to y)
C++ CODE IMPLEMENTATION
....
MPI_SEND(A[x][0], A[x][1], A[x][2], Destination= 1.....)
MPI_RECEIVE(B[0][0], B[0][1]......Sender = 1.....)
MPI_BARRIER
if (myrank == 1)
for (i = x+1 to xx)
for (y = 0 to y)
C++ CODE IMPLEMENTATION
....
MPI_SEND(B[x][0], B[x][1], B[x][2], Destination= 0.....)
MPI_RECEIVE(A[0][0], A[0][1]......Sender = 1.....)
MPI BARRIER
我想知道我的方法是否正确,并且希望对其他 MPI 功能的任何指导也能考虑实施。
谢谢, 阿什温。
【问题讨论】:
【参考方案1】:只是为了放大乔尔的观点:
如果你分配你的数组以使它们是连续的,这会容易得多(C 的“多维数组”不会自动给你:)
int **alloc_2d_int(int rows, int cols)
int *data = (int *)malloc(rows*cols*sizeof(int));
int **array= (int **)malloc(rows*sizeof(int*));
for (int i=0; i<rows; i++)
array[i] = &(data[cols*i]);
return array;
/*...*/
int **A;
/*...*/
A = alloc_2d_init(N,M);
然后,您可以发送和接收整个 NxM 数组
MPI_Send(&(A[0][0]), N*M, MPI_INT, destination, tag, MPI_COMM_WORLD);
完成后,使用
释放内存free(A[0]);
free(A);
另外,MPI_Recv
是阻塞接收,MPI_Send
可以是阻塞发送。根据 Joel 的观点,这意味着你绝对不需要障碍。此外,这意味着如果您有上述发送/接收模式,您可能会陷入僵局——每个人都在发送,没有人在接收。更安全的是:
if (myrank == 0)
MPI_Send(&(A[0][0]), N*M, MPI_INT, 1, tagA, MPI_COMM_WORLD);
MPI_Recv(&(B[0][0]), N*M, MPI_INT, 1, tagB, MPI_COMM_WORLD, &status);
else if (myrank == 1)
MPI_Recv(&(A[0][0]), N*M, MPI_INT, 0, tagA, MPI_COMM_WORLD, &status);
MPI_Send(&(B[0][0]), N*M, MPI_INT, 0, tagB, MPI_COMM_WORLD);
另一种更通用的方法是使用MPI_Sendrecv
:
int *sendptr, *recvptr;
int neigh = MPI_PROC_NULL;
if (myrank == 0)
sendptr = &(A[0][0]);
recvptr = &(B[0][0]);
neigh = 1;
else
sendptr = &(B[0][0]);
recvptr = &(A[0][0]);
neigh = 0;
MPI_Sendrecv(sendptr, N*M, MPI_INT, neigh, tagA, recvptr, N*M, MPI_INT, neigh, tagB, MPI_COMM_WORLD, &status);
或非阻塞发送和/或接收。
【讨论】:
绝对使用连续多阵列,这确实是要走的路。在 Sendrecv 上也 +1 不是两个替代方案——你会使用两者,一个像上面这样的分配例程来确保你的数组在内存中是连续的,然后在整个结构上使用发送和接收,并且可能使用顺序如上翻转。 我正在查看此代码以解决内存泄漏问题。我的一个问题是,你为什么不在这里讨论明确地取消分配内存?是否存在显式与隐式或仅取决于我想的代码的条件? C 的多维数组是一块连续的内存;如果你分配double d[50][50];
,那是一个连续的内存块。处理动态分配的“伪二维”数组的一种方法是分配一大块指针和一组单独的(通常是不连续的)内存块,每行一个。请参阅How does C allocate space for a 2D (3D...) array when using malloc
? 的讨论【参考方案2】:
首先你不需要那么多障碍 其次,您应该真正将数据作为单个块发送,因为多个发送/接收阻塞会导致性能不佳。
【讨论】:
您的数据应该在一个连续的内存块中。然后只需 MPI_一次发送整个块以上是关于通过 MPI 发送和接收二维数组的主要内容,如果未能解决你的问题,请参考以下文章