流式计算助力实时数据处理spark-streaming入门实战

Posted 2021-04-24 通信大数据分析及应用

导读：本次分享主题是《流式计算助力实时数据处理  spark-streaming入门实战》，主要内容分为3部分：

• 1.Spark基础

• 2.Spark-streaming技术要点

• 3.任务演示

01

Spark基础

Spark技术框架

RDD和transform&action

     RDD 是 Spark 中最重要的数据形式。RDD可以具有不同的分区，分布在集群中的不同节点上。Spark提供了基于RDD函数化的操作（分为转换操作和行动操作）。

02

Spark-streaming技术要点

Spark-streaming原理

     离散流(DiscretizedStream或DStream)是Spark Streaming对流式数据的基本抽象方式，将流式数据通过一个微小的时间间隔分解为一串连续的RDD，Spark的流式计算通过对一系列连续的小规模RDD进行批处理来完成。

1. Spark-Streaming从生产环境的输入源中读取流式数据，并按照设定的时间间隔把数据分组为Dstream。

2. 随着时间进行，新的数据不断产生，不同批次的Dstream源源不断地被创造出来。
   

3. 每个时间区间里，新增的数据被添加到当前的Dstream中；当时间结束，当前Dstream的数据停止增长。 

4. 对Dstream的处理，Spark-Streaming提供了类似RDD的操作。

Spark运行模式

   

Dstream创建

03

任务演示

1. batch场景下解析数据

2. 实时数据解析(无状态操作)

3. 实时计算流所有用户数(有状态操作)

4. hdfs+spark-streaming+sparksql(+yarn)的实时数据处理和分析框架

本次分享就到这里啦，谢谢大家。

星空大数据分享

文章推荐：

关于我们：