Spark Streaming 读取 Kafka 数据的两种方式

Posted 2020-12-05 geek-sharing

在Spark1.3之前，默认的Spark接收Kafka数据的方式是基于Receiver的，在这之后的版本里，推出了Direct Approach，现在整理一下两种方式的异同。

1. Receiver-based Approach

val kafkaStream = KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )

 2. Direct Approach (No Receivers)

 val directKafkaStream = KafkaUtils.createDirectStream[

源码实现

1、 KafkaUtils.createStream

首先从源码层面来看，其主要调用栈顺序：

 KafkaUtils.createStream---KafkaInputDStream--KafkaReceiver

KafkaReceiver类继承了Receiver，当Reciver被调用起来时，执行onStart()方法，MessageHandler负责将收到的数据进行存储。执行流程如下：

1. 创建createStream，Receiver被调起执行
2. 连接ZooKeeper，读取相应的Consumer、Topic配置信息等
3. 通过consumerConnector连接到Kafka集群，收取指定topic的数据
4. 创建KafkaMessageHandler线程池来对数据进行处理，通过ReceiverInputDStream中的方法，将数据转换成BlockRDD,供后续计算

2、 KafkaUtils.createDirectStream

主要调用栈顺序：

KafkaUtils.createDirectStream—> new DirectKafkaInputDStream

执行流程如下：

1. 实例化KafkaCluster，根据用户配置的Kafka参数，连接Kafka集群
2. 通过Kafka API读取Topic中每个Partition最后一次读的Offset
3. 接收成功的数据，直接转换成KafkaRDD,供后续计算