Spark Streaming源码解读之State管理之UpdataStateByKey和MapWithState解密

Posted 2020-07-16

本期内容 :

• UpdateStateByKey解密
• MapWithState解密

　　

　　Spark Streaming是实现State状态管理因素：

　　01、 Spark Streaming是按照整个BachDuration划分Job的，每个BachDuration都会产生一个Job，为了符合业务操作的需求，

　　　　需要计算过去一个小时或者一周的数据，但是由于数据量大于BachDuration，此时不可避免的需要进行状态维护

　　02、 Spark 的状态管理其实有很多函数，比较典型的有类似的UpdateStateByKey、MapWithState方法来完成核心的步骤

　　

一、 UPdateStateByKey ：

　　在已有历史数据中的状态进行更新，具体怎么更新就取决于UPdateFunc函数进行操作，返回一个DSteam类型

　　

　　

　　

　　最终还是使用DSteam操作的，会不断的产生数据

　　　　

　　生成RDD的过程，计算方法

　　　　

　　对传入的数据，通过K对所有数据进行集合：

　　　　优点： 每次都需要对RDD进行计算，确实需要对RDD进行计算，RDD怎么算，就对其进行Cogroup

　　　　缺点： 性能问题，因为需要每一次都要对所有数据进行扫描，最终变成CogroupedRDD,随着数据量的增加速度也越慢

　　

　　

二、 MapWithState ：

 

 　　　　返回的是DStreams的时候，进行状态更新与维护历史状态是基于K进行的，具体更新的函数、超时时间、初始状态等都是由StateSpec(封装了更新函数)进行获取、

　　更新、删除，相当于记录在一张表中，对表中的哪个Key进行操作使用历史数据，State是表名称或者索引，获取、更新数据，维护状态。

　　

　　

　　

　　

　　所有的Partition都是由MapWithStateRDDRecord所代表的，数据结构是StateMap ，维护的是基于K的状态

　　

　　

　　

　　

 

 

　　　　备注：

• • 资料来源于：王家林(Spark发行版本定制)
  • 新浪微博：http://www.weibo.com/ilovepains