如何指定在 R 中运行的 MPI 的核心数和节点数

Posted 2023-03-27

【中文标题】如何指定在 R 中运行的 MPI 的核心数和节点数

【英文标题】：How to specify both the number of cores and nodes for MPI running in R

【发布时间】：2018-04-20 09:34:02

【问题描述】：

我想使用 MPI 在 HPC 集群上并行运行 R。我了解包 snow 中的 makeCluster 函数可用于指定节点数。例如：makeCluster(2,type="MPI") 表示 2 个节点。如果不将类型指定为“MPI”，makeCluster(2) 将意味着单个节点上有 2 个内核。

有没有办法同时指定节点数和核心数？

如果指定类型为 MPI，每个节点默认使用多少个核心？

【参考方案1】：

据我所知，snow 和 parallel 软件包不会暴露这一点——因为它很快就会依赖于硬件。

不，如果您的 MPI 实现是 OpenMPI，那么您可以在服务器的 MPI 配置中指定它。有一个非常丰富的语法，hwloc 库应该为您提供硬件位置。

但最后的 R 只知道“工作节点的数量”，并将 how 和 which 传递给您选择的特定实现。