在 C 中的 MPI 中如何创建结构结构并将其发送到多个进程

Posted 2023-03-27

【中文标题】在 C 中的 MPI 中如何创建结构结构并将其发送到多个进程

【英文标题】：in MPI in c how to create a struct of structs and send it to multiple process

【发布时间】：2015-01-09 21:05:06

【问题描述】：

所以我有这个结构

typedef struct
     float x;
     float y;
     int centroid;
point;

我也有这个结构

typedef struct
     int csize;//the current size
     int tsize;//the total size
     point * data;//the data carried
ArrayList;

这些第二个结构在 C 中形成了一个动态增长的数组（实现了动态增长的函数并且工作正常）。 我究竟如何创建一个结构并在 c 中使用 MPI 发送它？ 我查看了其他帖子，例如 struct serialization in C and transfer over MPI 和其他帖子，但找不到解决问题的方法。

我将不胜感激。

最好， 格多

编辑-可能的重复并不能解决我的问题，我的问题是关于一个结构，该结构包含一个指向动态增长的结构数组的指针。重复的问题与在结构中具有原生类型数组有关。

【问题讨论】：

我从未使用过 MPI_Type_create_struct 方法。相反，我总是选择创建自己的序列化函数，这些函数涉及将结构中的所有数据写入内存中的单个缓冲区数组（就像您试图将其全部保存到文件一样），并使用 MPI_Bcast 发送该缓冲区。然后每个接收 CPU 需要执行一个反向序列化函数，读取缓冲区并重新创建所有 struct 数据。

Sending typedef struct containing void* by creating MPI drived datatype.的可能重复

@ jonathan dursi 不，不是重复的，因为我的问题与发送结构数组有关，而他的问题与发送 void 指针有关....我的问题是如何序列化第一个结构，然后序列化第二个结构并将它们都发送出去。

@masterHD 如果我处理少量数据，那将是可行的，不幸的是，我存储的数据可以达到几亿点。 （不要问为什么）谢谢！

@gedo 使用循环将数百万个数据点按顺序写入 1 个缓冲区。如果您需要在单个缓冲区中发送多个结构，您可以将其嵌套在另一个循环中。但是，如果您的结构很大，可以多次调用 MPI_Bcast，每个结构单独调用一次。

【参考方案1】：

手动将结构数组序列化到缓冲区并发送缓冲区是一个糟糕的主意，因为它会在发送端和接收端引入另一个内存副本。

发送 MPI 结构数组与发送任何其他对象的数组没有什么不同；你只需要创建一个结构类型——有manyexampleshere和elsewhere——确保计算偏移量和大小，因为你的结构中可能插入了填充。然后只需传递它们的数组：

#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include "mpi.h"

typedef struct
    float x;
    float y;
    int centroid;
 point;

typedef struct
    int csize;//the current size
    int tsize;//the total size
    point * data;//the data carried
 ArrayList;


int main(int argc, char **argv)

    MPI_Init(&argc, &argv);

    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    assert( size >= 2 );
    const int npts_avail=20;
    point points[npts_avail];

    ArrayList list;
    list.data = points;

    if (rank == 0) 
        int npts_used=10;
        list.csize = npts_used;
        list.tsize = npts_avail;
        for (int i=0; i<list.csize; i++) 
            points[i].x = 1.*i;
            points[i].y = -2.*i;
            points[i].centroid = i;
        
    

    const int nfields=3;
    MPI_Aint disps[nfields];
    int blocklens[] = 1,1,1;
    MPI_Datatype types[] = MPI_FLOAT, MPI_FLOAT, MPI_INT;

    disps[0] = offsetof( point, x );
    disps[1] = offsetof( point, y );
    disps[2] = offsetof( point, centroid );

    MPI_Datatype istruct, pstruct;
    MPI_Type_create_struct(nfields, blocklens, disps, types, &istruct );
    MPI_Type_create_resized( istruct, 0, (char *)&(points[1]) - (char *)(&points[0]), &pstruct );
    MPI_Type_commit(&pstruct);

    if (rank == 0) 
        MPI_Send( &(list.csize), 1, MPI_INT, 1, 0, MPI_COMM_WORLD);
        MPI_Send( &(list.tsize), 1, MPI_INT, 1, 0, MPI_COMM_WORLD);
        MPI_Send( list.data, list.csize, pstruct, 1, 0, MPI_COMM_WORLD);
     else if (rank == 1) 
        MPI_Recv( &(list.csize), 1, MPI_INT, 0, 0, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
        MPI_Recv( &(list.tsize), 1, MPI_INT, 0, 0, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
        MPI_Recv( list.data, list.csize, pstruct, 0, 0, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
    

    if (rank == 1) 
        printf("Received: \n");
        for (int i=0; i<list.csize; i++) 
            printf(" (%f, %f): %d\n", points[i].x, points[i].y, points[i].centroid);
        
    

    MPI_Finalize();

运行给出预期的输出：

$ mpirun -np 2 ./structs
Received:
 (0.000000, -0.000000): 0
 (1.000000, -2.000000): 1
 (2.000000, -4.000000): 2
 (3.000000, -6.000000): 3
 (4.000000, -8.000000): 4
 (5.000000, -10.000000): 5
 (6.000000, -12.000000): 6
 (7.000000, -14.000000): 7
 (8.000000, -16.000000): 8
 (9.000000, -18.000000): 9

请注意，您也可以构造一个 ArrayList 的 MPI 结构并使用它 - 除了每次重新发送时（在发送端）可能必须更改数据的位移，而在接收端它可以在您知道需要接收的数据量之前，您甚至无法确定。所以最好先发送大小（在两条消息中，就像我在这里一样，或者更好的是，将它作为两个整数的一条消息发送），然后发送结构数组，如图所示。

【讨论】：

非常感谢！我一下班就试试这个。

我可能会尝试为列表创建一个结构然后只发送它，原因是我想减少网络通信开销。我认为可以计算接收端数据的位移。

嘿，如果可能的话，你能解释一下这条线是做什么的吗？ MPI_Type_create_resized( istruct, 0, (char *)&(pointss[1]) - (char *)(&pointss[0]), &pstruct );我知道它正在为列表创建数据类型，但我不明白 (char *)&(pointss[1]) - (char *)(&pointss[0]) 这是做什么的。当我尝试接收排名 1 进程的列表时出现段错误（我对其进行了编辑，因此列表包含从文件中读取的点

@gedo 抱歉 - 它所做的是设置整个类型的大小，以便 MPI 知道数组中下一个项目的开始位置。编译器可能会出于内存对齐或其他原因（这就是为什么您必须显式测量结构内的偏移量）在任何地方插入填充，包括在 points[0].centroid 和 points[1].x 之间的末尾。因此，为了确保 MPI 正确地知道下一个开始的位置，您也必须正确设置该偏移量。对于这个具有所有 4 字节字段的特定结构，它可能无关紧要，但只要你添加一个 char 或一个 double 或其他东西，所有的赌注都没有了。

是的 ^.^ 我想了很多并修复了我的错误。不管怎么说，多谢拉！ PS对于偏移量的stddef.h缺少导入