RDD的依赖关系

Posted 2020-09-14 天之涯0204

RDD的依赖关系

子RDD和它依赖的父RDD（s）的关系有两种不同的类型，窄依赖（narrow dependency）和宽依赖（wide dependency）。

窄依赖

指的是每一个父RDD的Partition最多被子RDD的一个Partition使用

宽依赖

指的是多个子RDD的Partition会依赖同一个父RDD的Partition，一般就是通过宽依赖划分Stage

Lineage

RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。