Spark学习笔记：索引分区映射

Posted 2022-03-31 howard2005

文章目录

• 一、索引分区映射概述
• 二、索引分区映射案例
• • （一）每个元素翻10倍，不显示分区索引
  • （二）每个元素翻10倍，要显示分区索引
  • • 1、交互式环境下完成任务
    • 2、编写Scala程序完成任务

一、索引分区映射概述

• mapPartitionsWithIndex既可以拿到分区的迭代器，又可以拿到分区索引。
  
• 使用这个方法，需要传入一个函数，该函数包含两个参数：一个int值参数和一个迭代器，然后这个方法就会将分区索引传给int值，将这个分区索引中的值传入迭代器，对这些数据操作之后同样应该返回一个迭代器。

二、索引分区映射案例

（一）每个元素翻10倍，不显示分区索引

val rdd