《深入理解Spark-核心思想与源码分析》第三章存储体系

Posted 2020-08-06 牛顿

天行健，君子以自强不息；地势坤，君子以厚德载物。——《易经》

本章导读

　　Spark的初始化阶段、任务提交阶段、执行阶段，始终离不开存储体系。

　　Spark为了避免Hadoop读写磁盘的I/O操作成为性能瓶颈，优先将配置信息、计算结果等数据存入内存，极大的提升了系统的执行效率。

4.1 存储体系的概述

　　4.1.1 块管理器BlockManager的实现