如何将多个功能应用于dask数据帧的多个块？

Posted 2023-01-16

我有一个500,000行和3列的数据框。我想为数据帧中的每5,000行（即100块）计算三个函数的结果。定义了三个函数中的两个，而第三个是第3列中值的平均值。

目前，我首先提取一个块，然后计算该块的函数结果。对于第3列的平均值，我正在使用df.iloc[:,2].compute().mean()，但其他功能在dask之外执行。

是否有一种方法可以利用dask的多线程功能，将整个数据帧和块大小作为输入，并让它自动执行相同的功能？这感觉就像是使用Dask的更合适的方法。

而且，这对我来说似乎是一个基本的问题，所以，如果这是重复的问题，请指出我正确的位置（我是新来的，到目前为止，我可能没有寻找正确的东西）。

我有一个500,000行和3列的数据框。我想为数据帧中的每5,000行（即100块）计算三个函数的结果。三个中的两个...

答案

您可以创建一个人工列，将索引分为这100个块。