使用 SSH 和 NFS 在集群上进行并行化的最简单方法是啥？

Posted 2023-02-16

【中文标题】使用 SSH 和 NFS 在集群上进行并行化的最简单方法是啥？

【英文标题】：What is the simplest way of parallelization over a cluster with SSH and NFS?使用 SSH 和 NFS 在集群上进行并行化的最简单方法是什么？

【发布时间】：2010-10-25 22:42:40

【问题描述】：

我有很多简单的可并行计算和很多（100 多个）核心分布在 SSH + NFS 网络上。 什么是最简单的并行化方法。 问题是我不知道每个任务需要多长时间，所以我需要某种队列。 有没有非常好用的东西？

【参考方案1】：

Mincemeat.py 是 MapReduce 的轻量级 Python 实现，专为此目的而设计。启动所有进程并不是一个简单的方法（除非您在集群上有 Condor 之类的东西），否则它应该满足您的需求。

【参考方案2】：

你也可以看看 mpssh 和 autossh。

http://www.mynitor.com/2010/08/16/top-50-ssh-helper-tools-omg/

【参考方案3】：

我有很多简单的可并行计算和很多（100 多个）核心分布在 SSH + NFS 网络上。什么是最简单的并行化方法。问题是我不知道每个任务需要多长时间，所以我需要某种队列。有没有非常好用的东西？

我回答晚了，但我进行了类似的搜索。我已经使用了一段时间了，我非常相信orgalorg 就是答案。

支持 Linux 和 macOS。

以下示例...