在工作节点上并行排序 PySpark 数据帧

Posted 2023-04-15

【中文标题】在工作节点上并行排序 PySpark 数据帧

【英文标题】：Sorting PySpark Dataframes on worker nodes in parallel

【发布时间】：2020-06-06 14:34:54

【问题描述】：

我的主节点上有一个分布式 spark 数据帧列表，我想在单独的工作节点（我的 spark 集群包含 4 个节点）上并行地对它们中的每一个进行排序。是否可以使用 map() 或 flatMap()？或者别的什么。谢谢。

【参考方案1】：

您可以使用sortWithinPartitions 方法为每个分区并行排序数据。每个工人都有自己的分区数据。

根据我对 1000000 个随机编号列表的经验。 sortWithinPartitions 将性能提升 2 倍。

//Create a list with size 1000000 of random nos.
      spark.sparkContext.parallelize(for (i <- 1 to 1000000) yield  r.nextInt(1000000) )
        .toDF // Convert to dataframe with single column 'value'
        .sortWithinPartitions(col("value"))  // Sort the partition in parallel i.e. similair to sortin data on each worker
        .sort(col("value"))                  // Final sort on complete data set
        .map(r=>r.getInt(0)).collectAsList().toSeq // Collecting the result in list