大数据-SparkStreaming

Posted 小布大佬

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据-SparkStreaming相关的知识,希望对你有一定的参考价值。

SparkStreaming

SparkStreaming是一种微批处理,准实时的流式框架。数据来源包括:Kafka, Flume,TCP sockets,Twitter,ZeroMQ等

  • SparkStreaming与storm的区别:

    • SparkStreaming微批处理数据,storm按条处理数据

    • SparkStreaming支持稍复杂的逻辑

    • SparkStreaming与storm都支持资源动态调整和事务机制

SparkStreaming的处理架构:采用recevier task持续拉取数据,拉取时间间隔为batch Interval,每次来去的数据封装为batch,batch被封装到RDD中,RDD被封装进DStream中。SparkStreaming对DStream进程处理。

数据处理与数据拉取同时进行,数据处理的速度需要与数据拉取量均衡,数据存储方式为memory_only,若数据处理速度慢于拉取速度会产生数据堆积,进而导致OOM。若数据存储方式包含disk,会加大延迟

代码实现

使用TCP sockets实现测试,liunx中命令:nc -lk 9999 实现模拟向9999端口发数据。

  • 数据拉取的间隔时长 + sparkconf/sparkcontext => JavaStreamingContext (stream上下文)

  • 数据源配置 + stream上下文 => JavaStreamingContext(首个DStream)

SparkConf sparkConf = new SparkConf();
//配置参数中需要至少2个线程,一条接收数据,一条执行job任务,否则无法打印数据,格式为:主机名[2]
sparkConf.setMaster("local[2]").setAppName("s01");
JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
?
//通过sc上下文和指定间隔获取stream的上下文
JavaStreamingContext jsc = new JavaStreamingContext(sparkContext, Durations.seconds(5));
//通过conf 和指定间隔获取stream的上下文
//JavaStreamingContext jsc2 = new JavaStreamingContext(sparkConf,Durations.seconds(5));
?
//设置checkpoint路径
//jsc.checkpoint("hdfs://node1:9000/spark/checkpoint");
jsc.checkpoint("/checkpoint");
?
//使用socket监听作为数据源,获取DStream
JavaReceiverInputDStream<String> data = jsc.socketTextStream("node1", 9999);
?
/* 此处写入 DStream 逻辑*/
?
//使用 输出算子,触发DStream逻辑代码
data.print();
?
//通过JavaStreamingContext触发代码执行
jsc.start();
?
//阻塞线程,不断执行任务
try {
   streamingContext.awaitTermination();
} catch (InterruptedException e) {
   e.printStackTrace();
}
?
//结束任务并关闭sparkContext
//若不需要关闭sparkContext加参数false
//stop之后无法再通过start启动任务
jsc.stop();
//jsc.stip(false);

算子

DStream能够使用RDD的算子,以下列举DStream的专属算子

对于DStream可以转为RDD的执行的操作,RDD算子内的代码在exector进程执行,RDD外代码在driver进程执行

转换算子

transform

将DStream在算子内部转为RDD运算,最后还是返回DStream。实现对DStream执行任意RDD操作

JavaDStream<String> resultDStream = DStream.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {
   @Override
   public JavaRDD<String> call(JavaRDD<String> value) throws Exception {
       //转换算子
       JavaRDD<String> map = value.map(x->{return x+"1";});
       //触发算子
       map.foreach(x-> System.out.println(x));
       return map;
  }
});

updateStateByKey(状态)

  • 实现修改DStream的key的状态值。

    • sparkstream中为每个key维护一个static值,static可以为任意类型

    • 每有一个新的batch数据计算,若数据中的key值对应的static执行更新

  • API

    • 指定checkpoint目录,实现static存储

    • 对于数据拉取间隔小于10s的操作,使用10秒一次的static更新,避免反复写磁盘

    • 数据由Optional对象封装

    //指定checkpoint路径,若加载了hdfs配置则为hdfs中的路径
    jsc.checkpoint("/checkpoint");
    JavaReceiverInputDStream<String> DStream = jsc.socketTextStream("node1", 9999);
    //数据转为KV结构
    JavaPairDStream<String, Integer> pair = data.mapToPair(new PairFunction<String, String, Integer>() {
       @Override
       public Tuple2<String, Integer> call(String s) throws Exception {
           return new Tuple2(s, 1);
      }
    });
    //执行updateStateByKey
    JavaPairDStream<String, Integer> result = pair.updateStateByKey(new Function2<List<Integer>, Optional<Integer>, Optional<Integer>>() {
       //内部call方法入参:本批次相同key的value集合,key对应static的值;
       //出参为新的static的值,为了数据安全使用Optional进行封装
       @Override
       public Optional<Integer> call(List<Integer> v1, Optional<Integer> v2) throws Exception {
           Integer value = 0;
           //对本次的key的value进行处理
           for (Integer i : v1) { value += i; }
           //对static非空判断,并逻辑处理
           if(v2.isPresent()){ value += v2.get(); }
    ?
           return Optional.of(value);
      }
    });
    result.print();

reduceByKeyAndWindow(窗口)

  • 以若干时间间隔,一次性处理一段时间的数据

    • 滑动间隔:每隔多少时间处理一次数据(取值间隔时间的倍数)

    • 窗口:一次处理多少时间的数据(取值间隔时间的倍数)

//DStream为KV格式的数据
JavaPairDStream<String, Integer> result = DStream.reduceByKeyAndWindow(
   //对当前DStream中相同key的value进行reduce操作
   new Function2<Integer, Integer, Integer>() {
       @Override
       public Integer call(Integer v1, Integer v2) throws Exception {
           return v1 + v2;
      }
  },
   //指定窗口时间长度
   Durations.seconds(15),
   //指定滑动间隔的时间长度
   Durations.seconds(20));

优化

由于窗口函数需要对一段时间的数据进行计算,可能与前后一次的计算存在重复计算

设置checkpoint存储已经计算好DStream数据,在窗口调用数据减去旧的数据,加上新的数据。

//预先设置checkpoint路径
jsc.checkpoint("/checkpoint");
?
//DStream已经处理为kV结构
JavaPairDStream<String, Integer> result = DStream.reduceByKeyAndWindow(
    //以下逻辑用于对当前分区内,DStream内,窗口内,相同的key的value执行的操作
    对当前DStream中相同key的value进行reduce操作
    new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer v1, Integer v2) throws Exception {
        //v1为已累计的数据值,v2为新加入的数据值
            return v1 + v2;
        }
    },
    //对前一窗口中相同的key的value执行数据剔除的操作逻辑
    new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer v1, Integer v2) throws Exception {
            //v1为窗口中的数据值,v2为需要去除的数据值
            return v1 - v2;
        }
    },
    //指定窗口时间长度
    Durations.seconds(15),
    //指定滑动间隔的时间长度
    Durations.seconds(20));

 

 

输出算子

output operator:业务逻辑完成后需要至少一个output operator触发代码执行

foreachRDD

将DStream转为RDD进行算子运算,注意:内部RDD必须使用触发算子,否则代码不执行

//RStream使用foreachRDD转换为RDD,通过RDD执行逻辑
DStream.foreachRDD(new VoidFunction<JavaRDD<String>>() {
   @Override
   public void call(JavaRDD<String> stringJavaRDD) throws Exception {
       //RDD转换算子
       JavaRDD<String> result1 = stringJavaRDD.map(x->x);
       //RDD触发算子
       result1.foreach(x->{ System.out.println(x); });
  }
});

print

DStream.print() 实现对内部的数据的打印

Driver高可用

由于Driver需要不间断获取数据,Driver宕机重启需要借助checkpoint恢复原先的是数据,

  • 启动层面,设置Driver宕机重启

    • standalone模式与Mesos 在启动任务时加入参数: --supervise

    • yarn模式具备自动重启能力

  • 代码层面,设置基于checkpoint恢复

    • 设置checkpoint路径

    • 设置启动方式,使用JavaStreamingContext的getOrCreate方法创建DStream上下文

SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("HA");
//指定逻辑恢复的路径
JavaStreamingContext jsc0 = JavaStreamingContext.getOrCreate(
    "/checkpoint",
    new Function0<JavaStreamingContext>() {
        @Override
        public JavaStreamingContext call() throws Exception {
            JavaStreamingContext ssc = new JavaStreamingContext(
                sparkConf, Durations.seconds(5));
            //设置checkpoint路径
            ssc.checkpoint("/checkpoint");
            return ssc;
        }
    });

 

整合kafka

Spark2.2+kafka0.8

receiver模式

  1. executor进程中的receiver task线程定时从kafka上拉取数据

  2. receiver task将数据备份到各executor进程中,默认持久化级别MEMORY_AND_DISK_SER_2

  3. receiver task将偏移量写入zk,并将备份情况汇报给driver进程

  4. driver根据备份所在节点向executor进程分发task

    若driver宕机重启后从zk读取偏移量,重启receiver task进程。

    使用High Level Consumer API ,由zookeeper维护偏移量

    zk是投票机制更新数据消耗大,不利于大量数据吞吐

并行度修改

问题:对于数据量较大的场景,由于处理速度低于数据拉取速度,存在数据堆积的问题。

方案:修改并行度,增加task的数量,但该措施需控制在机器性能允许的范围内。

原理及实现:job的并行度由spark.streaming.blockInterval参数控制,该参数默认200ms对一批数据切分为若干数据块,每个数据块就是一个分区,分区数也就对应了并行度。该参数可修改的最小值为50ms

数据丢失问题

  • 原因:dirver宕机,任务未执行完毕,但偏移量在zk中已经更新,dirver重启后丢失偏移量之前的任务数据

  • 解决:WAL机制(日志):在偏移量提交zk前hdfs保存一份数据,driver先从hdfs上读取备份数据,再从zk中取偏移量。

    • 问题1:性能低,优化:可将持久化级别修改为MEMORY_AND_DISK_SER

    • 问题2:导致数据重复消费问题

SparkConf conf = new SparkConf().setAppName("ccc").setMaster("local[2]");
//设置启动WAL机制
conf.set("spark.streaming.receiver.writeAheadLog.enable","true");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(5));
//设置checkpoint的路径
jsc.checkpoint("/rec");
?
//通过map设置读取的topic及线程数
HashMap<String, Integer> topics = new HashMap<>();
topics.put("topic1",1);
topics.put("topic2",1);
?
//通过KafkaUtils的createStream方法创建DStream
//参数:上下文,zk,所属消费者组,读取的topic,持久化级别
JavaPairReceiverInputDStream<String,String> lines = KafkaUtils.createStream(
        jsc,
        "node03:2181,node02:2181,node01:2181",
        "ConsumerGroup",
        topics,
        StorageLevel.MEMORY_AND_DISK());

 

direct模式

  • task直接从kafka的分区上拉取数据,task并行度与kafka的分区数一致

  • 偏移量

    1. 默认使用内存维护偏移量(会有数据丢失),底层使用Simple Consumer API

    2. 可以添加checkpoint来维护偏移量,checkpoint也用于实现dirver宕机恢复

      • direct模式下的checkpoint中存储了代码逻辑+偏移量

      • 存在问题:在HA机制中,无法在运行过程中改变逻辑。若将新逻辑存入checkpoint,则会导致原有偏移量读取异常。同时存在driver宕机恢复时数据重复输出

    3. 可以自定义维护偏移量

      • 使用外部数据库存取更新偏移量,并实现手动提交偏移量,获取偏移量

      • 流程:构建DStream时手动获取并传入原有偏移量,从首个RDD中获取新的偏移量,在数据输出时将新的偏移量存入外部数据库。

      • 存在问题:只能保证转换1次,无法保证输出只有一次,需要通过输出幂等性或事务处理来解决

默认/checkpoint方式自动维护偏移量

//设置上下文
SparkConf conf = new SparkConf().setAppName("direct").setMaster("local[2]");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(10));

//设置checkpoint路径
jsc.checkpoint("./ck");

//设置kafka各节点路径
HashMap<String, String> parms = new HashMap<>();
parms.put("metadata.broker.list", "node01:9092,node02:9092,node03:9092");
//设置读取的topic
HashSet<String> topics = new HashSet<>();
topics.add("topic1");topics.add("topic2");

/*
通过KafkaUtils创建DStream.参数为:
    上下文,kafka中key类型,value类型,key解码方式,vlaue解码方式,kafka参数,topic
*/
JavaPairInputDStream<String, String> ds = KafkaUtils.createDirectStream(
        jsc,
        String.class,
        String.class,
        StringDecoder.class,
        StringDecoder.class,
        parms,
        topics
);

 

自定义维护offsets的代码示例:

//设置上下文与传统方式一致,不再设置checkpoint路径   jsc.checkpoint("./ck");
SparkConf conf = new SparkConf().setAppName("direct").setMaster("local[2]");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(10));
HashMap<String, String> parms = new HashMap<>();
parms.put("metadata.broker.list", "node01:9092,node02:9092,node03:9092");

//读取偏移量数据,本示例中直接指定了偏移量,生产环境中从数据度读取偏移量
//使用Map容器临时存储,key为TopicAndPartition对象,value为偏移量

Map<TopicAndPartition, Long> offsets = new HashMap<>();
TopicAndPartition tp1 = new TopicAndPartition("topic1", 0);
TopicAndPartition tp2 = new TopicAndPartition("topic1", 1);
offsets.put(tp1, 123L);
offsets.put(tp2, 456L);

//创建DStream,参数为:
//    上下文,kafka中key类型,value类型,key解码方式,vlaue解码方式,DStream的数据类型,kafka参数,存储偏移量的map容器,获取消息的value作为DStream的数据
JavaInputDStream<String> ds = KafkaUtils.createDirectStream(
        jsc,
        String.class,
        String.class,
        StringDecoder.class,
        StringDecoder.class,
        String.class,
        parms,
        offsets,
        new Function<MessageAndMetadata<String, String>, String>() {
            @Override
            public String call(MessageAndMetadata<String, String> v1) throws Exception {
                return v1.message();
            }
        }
);

//设置新的偏移量封装容器
AtomicReference<OffsetRange[]> offsetRanges = new AtomicReference();

//必须在第一个DStream中通过RDD,获取当前的偏移量
JavaDStream<String> ds1 = ds.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {
    @Override
    public JavaRDD<String> call(JavaRDD<String> rdd) throws Exception {
        //通过RDD获取当前偏移量
        OffsetRange[] offsets = ((HasOffsetRanges) rdd.rdd()).offsetRanges();
        //将偏移量存入偏移量封装容器中,返回出去
        offsetRanges.set(offsets);
        return rdd;
    }
});

//通过output算子触发逻辑,在执行完成时,将偏移量提交到数据库
//这一过程中为了避免数据重复消费,输出操作应当是幂等输出,或者使用事务,目的都是保证偏移量提交与输出操作的一致性

ds1.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    @Override
    public void call(JavaRDD<String> RDD) throws Exception {
        //以下触发算子的输出操作和偏移量向外存储,写在一个事务中(建议使用异常机制)
        
        //触发算子
        RDD.foreach(x -> System.out.println(x));

        //将偏移量封装容器转换为数组,每个元素就是一个OffsetRange对象。
        //OffsetRange对象存储了一个topic分区的偏移量信息,可以对OffsetRange解析后存入数据库
        OffsetRange[] offsets = offsetRanges.get();
        for (OffsetRange x : offsets) {
            //解析
            String topic = x.topic();
            int partition = x.partition();
            long offset = x.untilOffset();
        }
    }
});

 

Spark2.3+kafka0.10+

  • 只有direct模式

  • 偏移量维护策略:

    1. 使用kafka维护,kafka中使用特殊的topic(_consumer_offsets)实现

    2. 若设置了checkpoint,则偏移量会存在checkpoint中维护。

    3. 使用自定义方式维护偏移量

  • 任务分配策略

    • LocationStrategies.PreferBrokers:如Executor在kafka 集群中的节点上,该executor 读取当前broker节点的数据(一般用这个)

    • LocationStrategies.PreferFixed:节点之间的分区有明显的分布不均,通过一个map 指定将topic分区分布在哪些节点中

  • 缓存策略

    • kafka的数据预先读取到Executor的缓存中再处理,该缓存默认64K,能够加快数据的处理速度

    • spark.streaming.kafka.consumer.cache.maxCapacity 控制缓存大小

    • spark.streaming.kafka.consumer.cache.enabled 控制缓存机制开关

kafka维护偏移量

  • 提交时间

    • 自动提交默认5s提交一次偏移量,参数auto.commit.interval.ms控制

    • 手动提交偏移量,底层api也是异步的

  • 问题

    • 若一天不访问kafka偏移量数据,kafka会自动清空

    • 使用手动提交偏移量的方式,偏移量提交与结果输出是异步的,也重复输出的问题

本示例中:使用手动向kafka提交偏移量

//创建JavaStreamingContext
SparkConf conf = new SparkConf().setAppName("direct").setMaster("local[2]");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(10));

//创建kafka参数对象
HashMap<String, Object> kafkaParams = new HashMap<>();
//kafka节点
kafkaParams.put("bootstrap.servers", "node1:9092,node2:9092,node3:9092");
//第一次读取的偏移量位置
kafkaParams.put("auto.offset.reset", "earliest");
//消费者组
kafkaParams.put("group.id", "myGroup");
//key序列化方式
kafkaParams.put("key.deserializer", StringDeserializer.class);
//key序列化方式
kafkaParams.put("value.deserializer", StringDeserializer.class);
//设置偏移量手动提交
kafkaParams.put("enable.auto.commit", false);

//设置读取的topics
Collection<String> topics = Arrays.asList("sm3");

//构建初始DStream,其数据元素为一条kafka的消息具备value值与kafuka的相关属性
//传入 上下文,task分配策略 ,kafkfa参数(topic+参数map)
JavaInputDStream<ConsumerRecord<String, String>> stream =
        KafkaUtils.createDirectStream(
                jsc,
                LocationStrategies.PreferBrokers(),
                ConsumerStrategies.Subscribe(topics, kafkaParams)
        );

//偏移量封装类具备原子更新属性
AtomicReference<OffsetRange[]> newoffset = new AtomicReference();

JavaDStream<String> stream1 = stream.transform(new Function<JavaRDD<ConsumerRecord<String, String>>, JavaRDD<String>>() {
    @Override
    public JavaRDD<String> call(JavaRDD<ConsumerRecord<String, String>> RDD) throws Exception {
        //获取偏移量,新的偏移量必须从初始DStream的第一个RDD中获取,其他的RDD弃置该信息
        OffsetRange[] offsetRanges = ((HasOffsetRanges) RDD.rdd()).offsetRanges();
        //将偏移量设置在封装对象中
        newoffset.set(offsetRanges);

        //将初始DStream解析为普通的RDD,即取出value值
        return RDD.map(new Function<ConsumerRecord<String, String>, String>() {
            @Override
            public String call(ConsumerRecord<String, String> record) throws Exception {
                //可以从每条记录中取出消息值及其kafka相关信息
                record.key(); record.topic(); record.partition();
                return record.value();
            }
        });
    }
});


//在执行触发算子时提交偏移量
stream1.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    @Override
    public void call(JavaRDD<String> RDD) throws Exception {
        
        /*为了避免数据重复输出,采用以下两种方式解决:
        1.实现输出代码的幂等性
        2.将输出代码与偏移量提交代码写在一个事务中
        */
        
        //触发算子
        RDD.foreach(s->System.out.println(s));

        //通过偏移量封装对象获取偏移量
        OffsetRange[] offsetRanges = newoffset.get();
        //通过初始DStream转换,使用自动提交偏移量
        ((CanCommitOffsets) stream.inputDStream()).commitAsync(offsetRanges);
    }
});

 

自定义维护偏移量

  • 实现从外部数据库读取偏移量,将新的偏移量存入外部数据库

  • 这种方式也存在重复输出的问题,需要实现输出幂等或(输出+offset)事务

//kafka参数
HashMap<String, Object> kafkaParams = new HashMap<>();
kafkaParams.put("bootstrap.servers", "node1:9092,node2:9092,node3:9092"); 
kafkaParams.put("auto.offset.reset", "earliest"); 
kafkaParams.put("group.id", "myGroup"); 
kafkaParams.put("key.deserializer", StringDeserializer.class); 
kafkaParams.put("value.deserializer", StringDeserializer.class); 
kafkaParams.put("enable.auto.commit", false);

//本例子中直接给定偏移量,生产环境中偏移量从外部外部数据库读入
//偏移量通过map封装
Map<TopicPartition, Long> offsetdata = new HashMap<>();
offsetdata.put(new TopicPartition("topic1", 0), 123L);
offsetdata.put(new TopicPartition("topic1", 1), 444L);

//构建初始DStream。参数:
// 上下文,task分配策略 ,kafkfa参数(topic+参数map+偏移量map)
JavaInputDStream<ConsumerRecord<String, String>> stream = KafkaUtils.createDirectStream(
        jsc,
        LocationStrategies.PreferBrokers(),
        ConsumerStrategies.Assign(offsetdata.keySet(), kafkaParams, offsetdata));

//获取偏移量方式与上述方式相同,区别在于提交偏移量的方式不同 
AtomicReference<OffsetRange[]> newoffset = new AtomicReference();
JavaDStream<String> stream1 = stream.transform(new Function<JavaRDD<ConsumerRecord<String, String>>, JavaRDD<String>>() {
    @Override
    public JavaRDD<String> call(JavaRDD<ConsumerRecord<String, String>> RDD) throws Exception {
        //获取偏移量
        newoffset.set(((HasOffsetRanges) RDD.rdd()).offsetRanges());
        return RDD.map(x->x.value());
    }
});


stream1.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    @Override
    public void call(JavaRDD<String> RDD) throws Exception {
        /*为了避免数据重复输出,采用以下两种方式解决:
        1.实现输出代码的幂等性
        2.将输出代码与偏移量提交代码写在一个事务中
        */
        //触发算子
        RDD.foreach(s->System.out.println(s));

        //通过偏移量封装对象获取偏移量,遍历偏移量存入数据库
        OffsetRange[] offsetRanges = newoffset.get();
       for(OffsetRange x : offsetRanges ){
           System.out.println(x);
       }

/**
* 开启事务
*/
//1.提交偏移量到redis
//2.提交计算结果到mysql//3.做好事务原子性的维护   
    }
});

 


checkpoint维护偏移量

  • driver宕机恢复容易产生数据重复消费

  • 修改代码逻辑,会导致原checkpoint偏移量丢失

代码实现kafka维护基本一致,只需要指定checkpoint的路径

整合参数

  • receiver模式的参数

    • spark.streaming.receiver.writeAheadLog.enable 默认false 是否开启预写日志

    • spark.streaming.blockInterval 默认200ms 对一批数据的切分间隔,用于控制receiver模式下的分区数

    • spark.streaming.receiver.maxRate 无默认值 修改receiver task的最大拉取速率

  • Direct模式

    • spark.streaming.kafka.maxRatePerPartition 修改每个分区拉取数据的最大速率

  • 反压机制

    • spark.streaming.backpressure.enabled 默认false 微调数据拉取速率,提高运行效率

  • 关停任务

    • spark.streaming.stopGracefullyOnShutdown 设置 true

    • kill -15/sigterm driverpid

注:以上参数均可以在conf中设置

 

遗留问题:HA的ck,对direct模式的影响

以上是关于大数据-SparkStreaming的主要内容,如果未能解决你的问题,请参考以下文章

大数据-SparkStreaming

大数据学习——SparkStreaming整合Kafka完成网站点击流实时统计

大数据笔记(三十一)——SparkStreaming详细介绍

flume kafka和sparkstreaming整合

大数据入门:Spark Streaming实际应用

分布式大数据系统概览(HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph)