细谈RDD的弹性
Posted 大数据和人工智能躺过的坑
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了细谈RDD的弹性相关的知识，希望对你有一定的参考价值。
细谈RDD的弹性
弹性之一：自动的进行内存和磁盘数据存储的切换
弹性之二：基于Lineage（血缘）的高效容错
弹性之三：Task如果失败会自动进行特定次数的重试
弹性之四：Stage如果失败会自动进行特定次数的重试，而且只会计算失败的分片
弹性之五：checkpoint和persist
Checkpoint是比较重量级的操作，RDD操作，一般每次都会产生新的RDD，除了最后一个action操作触发作业以外。但是有时候，链条比较长或者计算比较笨重，考虑把数据放到磁盘上，这就是Checkpoint。
Persist是在内存或磁盘里复用。
弹性之六：数据调度弹性:DAG、Task和资源管理无关
弹性之七：数据分片的高度弹性
以上是关于细谈RDD的弹性的主要内容，如果未能解决你的问题，请参考以下文章