在dask.distributed群集中的计算机之间共享python模块

Posted 2021-04-28

我有一个ssh dask.distributed群集，其中一台主计算机包含我脚本的所有模块，另一台只有几个，当然包括dask本身。

是否可以更改另一台计算机的sys路径，以便它也在主计算机中查找模块？当然，我可以简单地通过sftp上载它们，但是由于我不断制作很多模块，因此重复执行会很烦人。

答案

使用NFS或SSH远程安装之类的网络解决方案，可能会发生某些事情，但这是一个很大的领域，超出了Dask本身的范围。如果幸运的话，这里还会出现其他答案，其他人已经解决了类似的问题，但是更可能的复制方式是更简单的解决方案。