Airflow 中文文档：用Dask扩展

Posted 2021-01-23 wizardforcel

DaskExecutor允许您在Dask分布式群集中运行Airflow任务。

Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。

要创建集群，首先启动调度程序：

 # default settings for a local cluster
DASK_HOST = 127 .0.0.1
DASK_PORT = 8786

dask-scheduler --host $DASK_HOST --port $DASK_PORT

接下来，在任何可以连接到主机的计算机上启动至少一个Worker：

dask-worker $DASK_HOST : $DASK_PORT

阅读全文／改进本文