使用默认调度程序进行Dask内存管理

Posted 2021-03-27

我一直在尝试在单个本地计算机上管理Dask的内存使用情况。由于某种原因，默认的Dask Client（）和LocalCluster（）调度程序似乎总是中断，但是Dask在没有指定调度程序的情况下运行良好，因此默认调度程序最适合我的目的，但我发现这个默认情况下几乎没有文档调度程序更不用说如何设置RAM限制了。所有信息都是针对他们的专业分布式客户端，似乎不起作用。有谁知道可以找到默认调度程序文档的内容/位置，或者甚至使用它们作为默认调度程序（因为我甚至无法在其站点/文档中找到该信息）。或者如果没有，有没有人找到一个限制RAM使用的解决方案而不使用Client（）？

干杯

答案

为了控制我的本地dask集群中的内存限制，我使用以下设置：

ncores = 2
cluster = LocalCluster(n_workers=ncores, threads_per_worker=1,memory_limit =8e9)
client=Client(cluster)