Spark和Java API分区

Posted 2021-06-11 ralgo

RDD的分区是什么？

RDD，顾名思义它是分布式的，那么它是怎么实现分布式呢？答案就是分区，也即是一个RDD会将计算逻辑分布在整个集群中。这很像kafka中的topic的分区，通过水平扩展的方式提供系统的吞吐量。那么分区是如何分布在整个集群中呢？我们拿hdfs举例，假设hdfs上有一个文件A，大小为1个GB，hdfs默认会将这个文件切割成多个block，每个block为128MB，那么A拥有4个主block，因为hdfs会对文件做冗余，一个block有2个备份。所以A一共有12个block。这12个block分散在集群的不同的节点上，当一个RDD需要引用文件A时，它会分配4个分区，每个分区对应一个主block和两个备block，然后将计算逻辑发送到block所在的节点进行运算。