spark学习spark基本原理及安装

Posted lq13035130506

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark学习spark基本原理及安装相关的知识,希望对你有一定的参考价值。

MapReduce与spark

MapReduce:   操作单一,只有map,reduce                                                                                                                spark:提供多种操作:过滤,分组,排序....

技术图片       技术图片

 

 

 (一)spark生态环境:

         技术图片

 

 

  1. Mesos和YARN都是资源调度管理器
  2. HDFS:分布式系统存储组件  
  3. S3:亚马逊提供的云端的简单的存储服务
  4. Tachyon:基于内存的分布式文件系统
  5. Spark  Core:复杂批量数据处理,取代MapReduce  Hive
  6. Spark  Streaming:满足实时数据流毫秒级计算需求,基于RDD数据抽象
  7. Structured  Streaming:满足特定场景下的实时数据流毫秒级流计算需求,基于DataFrame数据抽象(在spark 2.2之后成为正式版)
  8. Spark  SQL:满足历史数据交互式查询分析需求
  9. GraPhx:满足图计算需求
  10. MLlib:满足机器学习需求;机器学习算法库,可以直接调用算法接口;历史数据的数据挖掘需求

(二)运行架构

  1. RDD(弹性分布式数据集):最核心的数据抽象;提供高度受限的共享内存模型(只读)
  2. DAG(有向无环图):反映RDD之间的依赖关系
  3. Executor(进程):节点上派生多线程运行任务
  4. application(应用程序):用户写的程序
  5. Job(作业):切分为多个阶段
  6. 结构:

           技术图片

 

         7,关键词之间关系:

              技术图片

(三)运行流程:

    1,应用程序发到主节点,Driver(指挥所)派生出SparkContext对象(指挥官);

    2,SparkContext会申请资源管理器,把作业分成不同阶段并把每个阶段的任务调度到不同的工作节点(Worker Node)上执行。监控所有过程;

    3,资源管理器收到请求后会分配内存资源,启动Executor 进程(驻留在工作节点上)派生多个线程;

    4,SparkContext会将代码中的对RDD的操作转换为RDD的依赖关系,根据依赖关系构建DAG图,将DAG图发送到DAG  Scheduler组件;

    5,DAG  Scheduler把DAG分解成多个Stage(阶段);Stage发到Task  Scheduler(根据工作节点上的Executor的申请分发任务到与数据对应的工作节点),计算程序发到数据相关的工作节点;

    技术图片

    6,Executor把结果反馈到Task  Scheduler------->DAG  Scheduler--------->SparkContext做最后的处理(返回给用户或HDFS);

     技术图片

(四)RDD概述:

   1,RDD运行原理:提供抽象的数据结构,根据依赖关系生成DAG图,形成流水线,在内存中操作,避免操作磁盘数据

   2,RDD:只读的分区集合(不同的分区到不同的机器并行处理);操作时,将原来的RDD转换生成新的RDD

     3,RDD操作:分为动作类型操作和转换类型操作;转换类型操作:只记录转换的轨迹,不发生计算。(一次只能对一整个RDD进行粗粒度操作,不支持细粒度操作),scala

的接口提供简单操作(转换,过滤,排序,Map,Reduce)

     4,图示:

    技术图片

    提供容错机制,恢复数据简单:

 

     技术图片

 

    5,RDD的依赖关系:窄依赖(不划分阶段);宽依赖(划分多个阶段,递归算法划分);根据Shuffle操作判断,如果存在Shuffle操作(洗牌)就是宽依赖

                   例如:单词统计操作中,Map操作后会进行Shuffle操作,将相同的单词放入一个Reduce中。

      窄依赖:父RDD对应子RDD的关系:一对一或多对一;不涉及数据转换;可以进行流水线优化(优化原理:fork/join机制;并行执行任务的框架)

      宽依赖:父RDD对应子RDD的关系:一对多;涉及数据转换;不可以进行流水线优化(当发生shuffle操作时会进行对磁盘的读写操作)

                   技术图片

      技术图片

(五)Spark安装

       spark-2.1.0-hadoop-2.6版:下载地址:http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz

  安装单机教程:http://dblab.xmu.edu.cn/blog/1307-2/

  

 

 

 

       

 

以上是关于spark学习spark基本原理及安装的主要内容,如果未能解决你的问题,请参考以下文章

学习笔记Spark—— Spark架构及原理

Spark 基本架构及运行原理

Spark: 基本架构及原理

Spark: 基本架构及原理

Spark基本架构及原理

Spark: 基本架构及原理