Spark学习笔记

Posted 2020-10-02 insaneXs

概念：

Spark是加州大学伯克利分校AMP实验室，开发的通用内存并行计算框架。

支持用scala、java和Python等语言编写应用程序。相较于Hdoop，往往有更好的运行效率。

Spark包括了Spark Core, Spark SQL, SparkStreaming,MLlib和Graphx等组件。

• Spark Core:内存计算框架
• Spark SQL:及时查询
• SparkStreaming:实时应用的处理
• MLlib:机器学习
• Graphx:图形处理

 

Spark运行模式：

Local	本地模式	用于本地开发测试，本地还分为local单线程和local-cluster多线程。
On yarn	集群模式	运行在yarn框架之上，由yarn负责资源管理，Spark负责任务调度和计算。
Standalone	集群模式	典型的Mater-slave模式，Spark自带的模式。

 

 

 

 

 

 

On yarn模式需要配置hadoop环境。

 

RDD：

众所周知，Spark的核心是RDD。RDD(Resilent Distributed Dataset)弹性分布式数据集，是一个容错的，并行的数据结构。可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。

RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。

当一个RDD的数据丢失之后，可以从其父RDD重新计算得到。如果父RDD也不可用，则再从上一级开始计算。

简单的介绍下RDD的依赖关系：

• 窄依赖(narrow dependcies):一个子RDD只依赖一个父RDD。
• 宽依赖(wide dependcies):一个子RDD依赖于多个父RDD。

当一个RDD需要依据一个lineage进行重算时，由于窄依赖的关系更为简单，因而回复该RDD的效率更高。相反，对于宽依赖的RDD而言需要更多的时间用于恢复。

虽然lineage可用于错误后RDD的恢复，但对于很长的lineage的RDD来说，这样的恢复耗时较长。因此，将某些RDD进行检查点操作(Checkpoint)保存到稳定存储上，是有帮助的。

 

Transformation和Action:

算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。

RDD有两种操作算子：

• Transformation（转换）
• Action（执行）

Transformation:结果是得到一个新的RDD。比如从数据源生成一个RDD，或是由一个RDD生成另一个RDD。

Action:得到一个值或者是一个计算结果(结果也可以是一个RDD，例如使用col lec算子)。

所有的Transfomation采用的均为懒策略。即当一个Transfomation被提交时，不会立即进行计算。计算只有在action被提交时才触发。

下图描述了Spark在运行转换中通过算子对RDD进行转换：