如何查看Dask Compute任务的进度？

Posted 2021-04-11

我想在Jupyternotebook上看到一个进度条，当我使用Dask运行计算任务时，我正在从一个大的csv文件+ 4GB计算“id”列的所有值，所以任何想法？

import dask.dataframe as dd

df = dd.read_csv('data/train.csv')
df.id.count().compute()

答案

如果您正在使用单机调度程序，请执行以下操作：

from dask.diagnostics import ProgressBar
ProgressBar().register()

http://dask.pydata.org/en/latest/diagnostics-local.html

如果您使用的是分布式调度程序，请执行以下操作：

from dask.distributed import progress

result = df.id.count.persist()
progress(result)

或者只使用仪表板

http://dask.pydata.org/en/latest/diagnostics-distributed.html