（数据科学学习手札150）基于dask对geopandas进行并行加速
Posted 费弗里
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了（数据科学学习手札150）基于dask对geopandas进行并行加速相关的知识，希望对你有一定的参考价值。
本文示例代码已上传至我的
Github仓库https://github.com/CNFeffery/DataScienceStudyNotes
1 简介
大家好我是费老师，geopandas作为我们非常熟悉的Python GIS利器，兼顾着高性能和易用性，特别是在其0.12.0版本开始使用全新的shapely2.0矢量计算后端后，性能表现更是一路狂飙。
而我们作为使用者，当然是希望geopandas处理分析矢量数据越快越好。在今天的文章中，我将为大家简要介绍如何基于dask对geopandas进一步提速，从而更从容的应对更大规模的GIS分析计算任务。
2 dask-geopandas的使用
很多朋友应该听说过dask，它是Python生态里非常知名的高性能计算框架，可以针对大型数组、数据框及机器学习模型进行并行计算调度优化，而dask-geopandas就是由geopandas团队研发的，基于dask对GeoDataFrame进行并行计算优化的框架，本质上是对dask和geopandas的封装整合。
dask-geopandas的安装非常简单，在已经安装了geopandas的虚拟环境中，执行下列命令即可：
conda install dask-geopandas -c conda-forge -y
2.1 基础使用
dask-geopandas与geopandas的常用计算API是相通的，但调用方式略有不同，举一个实际例子，其中示例文件demo_points.gdb由以下代码随机生成并写出：
import numpy as np
import geopandas as gpd
from shapely import Point, Polygon
# 生成示例用矢量数据
demo_points = gpd.GeoDataFrame(
\'id\': range(1000000),
\'geometry\': [
Point(np.random.uniform(0, 90),
np.random.uniform(0, 90))
for i in range(1000000)
]
)
# 写出到本地gdb
demo_points.to_file(\'./demo_points.gdb\', driver=\'OpenFileGDB\')
在使用dask-geopandas时，我们首先还是需要用geopandas进行目标数据的读入，再使用from_geopandas()将其转换为dask-geopandas中可以直接操作的数据框对象，其中参数npartitions用于将原始数据集划分为n个数据块，理论上分区越多并行运算速度越快，但受限于机器的CPU瓶颈，通常建议设置npartitions为机器可调度的CPU核心数：
demo_points = gpd.read_file(\'./demo_points.gdb\', driver=\'OpenFileGDB\')
demo_points_ddf = dgpd.from_geopandas(demo_points, npartitions=4)
demo_points_ddf
在此基础上，后续执行各种运算都需要在代码末尾衔接.compute()，从而真正执行前面编排好的运算逻辑，以非矢量和矢量运算分别为例：
2.2 性能比较
既然使用了dask-geopandas就是奔着其针对大型数据集的计算优化而去的，我们来比较一下其与原生geopandas在常见GIS计算任务下的性能表现，可以看到，在与geopandas的计算比较中，dask-geopandas取得了约3倍的计算性能提升，且这种提升幅度会随着数据集规模的增加而愈发明显，因为dask可以很好的处理内存紧张时的计算优化：
当然，这并不代表我们可以在任何场景下用dask-geopandas代替geopandas，在常规的中小型数据集上dask-geopandas反而要慢一些，因为徒增了额外的分块调度消耗。
除了上述的内容外，dask-geopandas还有一些实验性质的功能，如基于地理空间分布的spatial_partitions数据分块策略优化等，待它们稳定之后我会另外发文为大家介绍
以上是关于（数据科学学习手札150）基于dask对geopandas进行并行加速的主要内容，如果未能解决你的问题，请参考以下文章
（数据科学学习手札83）基于geopandas的空间数据分析——geoplot篇(下)
（数据科学学习手札83）基于geopandas的空间数据分析——geoplot篇(下)