Spark学习笔记:索引分区映射

Posted howard2005

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark学习笔记:索引分区映射相关的知识,希望对你有一定的参考价值。

文章目录

一、索引分区映射概述

  • mapPartitionsWithIndex既可以拿到分区的迭代器,又可以拿到分区索引
  • 使用这个方法,需要传入一个函数,该函数包含两个参数:一个int值参数和一个迭代器,然后这个方法就会将分区索引传给int值,将这个分区索引中的值传入迭代器,对这些数据操作之后同样应该返回一个迭代器。

二、索引分区映射案例

(一)每个元素翻10倍,不显示分区索引

val rdd 

以上是关于Spark学习笔记:索引分区映射的主要内容,如果未能解决你的问题,请参考以下文章