使用 RDD.mapPartitionsWithIndex 时如何获取每个分区的索引？

Posted 2023-03-23

【中文标题】使用 RDD.mapPartitionsWithIndex 时如何获取每个分区的索引？

【英文标题】：how to get an index of each partition when using RDD.mapPartitionsWithIndex?

【发布时间】：2021-08-05 12:52:34

【问题描述】：

我是 spark 和 scala 的新手。 Spark 中是否有办法从中获取分区 ID/No RDD.mapPartitionsWithIndex 定义如下：

def randomint(index: Int, iter: Iterator[T]) : Iterator[(Int, T)]=
...

self.mapPartitionsWithIndex(randomint).partitionBy(new randParti(nump)).values

【参考方案1】：

您的命名可能令人困惑，但 randomint 函数中的 index 变量确实包含您要查找的内容：分区号。