RDD 五大特性

Posted 2022-05-01 xiangyuguan

1）A list of partitions

RDD由很多partition构成，有多少partition就对应有多少task来执行

2）A function for computing each split

对RDD做计算，相当于对RDD的每个split或partition做计算

3）A list of dependencies on other RDDs

RDD之间有依赖关系，可溯源

4）Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，比如可以按key的hash值分区

5）Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

最优的位置去计算，也就是数据的本地性，计算每个split时，在split所在机器的本地上运行task是最好的，避免了数据的移动；split有多个副本，所以preferred location不止一个