《深入理解Spark-核心思想与源码分析》第二章Spark设计理念和基本架构

Posted 2021-01-29 sunrunzhi

若夫乘天地之正，而御六气之辩解，以游无穷者，彼且恶乎待哉？

                                                                                                         ——《庄子.逍遥游》

 

     翻译：至于遵循宇宙万物的规律，把握“六气”的变化，遨游于无穷无尽的境域，他还仰赖什么呢！

2.1 初始Spark

    第一点是关于MRv1与MRv2的区别对比。

2.2 Spark基础知识

主要解释Spark的各个版本，介绍Spark的主要概念，介绍scala与java之间的语言差异。

2.3 Spark基本设计思想

 

2.4 Spark基本架构

Cluster Manager：Spark集群资源管理器，主要负责资源的分配和管理。

Worker：Spark的工作节点。

Executor：执行计算任务的一线进程。

Driver App：客户端驱动程序。