CacheManager 概述

Posted 一剑侵心

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CacheManager 概述相关的知识,希望对你有一定的参考价值。

1. CacheManager 管理缓存,而缓存可以是基于内存的缓存,也可以是基于磁盘的缓存

2. CacheManager 需要通过 BlockMananger 来操作数据;

3. 当 Task 运行的时候会调用 RDD 的 compute 方法来进行计算,而 compute 方法会调用  iterator 方法。

4. 具体 CacheManager 在获得缓存数据的时候会通过 BlockManage 来抓到数据

5. 如果 CacheManager 没有通过 BlockMananger 获得缓存内容的话,会查看 RDD 是否进行了 checkpoint 就会计算,是的话就读取 checkpoint  的内容, 否则就进行计算

以上是关于CacheManager 概述的主要内容,如果未能解决你的问题,请参考以下文章