深度学习核心技术精讲100篇（八十五）-Dask 分布高性能计算深入讲解

Posted 2022-03-17 文宇肃然

Dask 入门

• 识别和描述 Dask 数据集合（Collection），包含数组（Array）和数据框（DataFrame）和调度器。

• 认识到 Dask 数组的使用与 Numpy 数组的使用时类似的。

• 理解分块（chunk）大小（size）、形状（shape）和计算开销。

• 部署本地分布式集群并使用诊断仪表板（diagnostics dashboard）.

什么是 Dask？

Dask 是一个灵活应用于分析计算的并行计算包。Dask 能够提供动态并行任务调度系统、高级数据集合，如dask.array, dask.dataframe和一系列部署模式。

并行计算：如同电路串联和并联的概念，电路并联能够使得每一个分路从总负荷中分配各自的分路负荷。同理对并行计算也有类似的理解，每个并行节点都能够分配待解决问题的一部分，各个并行节点完成计算后，再将结果综合在一起得到最终的结果。更多关于并行计算的细节详见Introduction to Parallel Computing Tutorial[2].

Dask 适用范围：利用 Dask 延迟数据读取和 Zarr 格式读写数据可