Spark 项目实战企业级，源码深度剖析，机器学习，数据分析

Posted 2022-05-03 spark88

同学们在学习Spark Steaming的过程中，可能缺乏一个练手的项目，这次通过一个有实际背景的小项目，把学过的Spark Steaming、Hbase、Kafka都串起来。

1. 项目介绍

1.1 项目流程

Spark Streaming读取kafka数据源发来的json格式的数据流，在批次内完成数据的清洗和过滤，再从HBase读取补充数据，拼接成新的json字符串写进下游kafka。

1.2 项目详解

2. 环境准备

2.1 组件安装

首先需要安装必要的大数据组件，安装的版本信息如下：

Spark 2.1.2

kafka 0.10.0.1

HBase 1.2.0

Zookeeper 3.4.5

2.2 Hbase Table的创建

Hbase创建table student，列族名为cf，并存入两条数据

2.3 Kafka Topic的创建

创建kafka的两个topic，分别是kafka_streaming_topic、hello_topic。

3. Code

3.1 项目结构

 

简单解释一下：

Output、Score、Output三个是Java Bean

MsgHandler完成对数据流的操作，包括json格式判断、必备字段检查、成绩>=60筛选、json to Bean、合并Bean等操作

ConfigManager读取配置参数

conf.properties 配置信息

StreamingDemo是程序主函数

HBaseUtils Hbase工具类

StreamingDemoTest 测试类

3.2 主函数

初始化spark，和一些配置信息的读取，通过KafkaUtils.createDirectStream读取kafka数据。

 

接下来完成如下几个操作：

清洗和筛选数据，返回(id,ScoreBean)的RDD

构造id List集合，批量从Hbase查询结果，构造(id,studentJsonStr)的resMap集合,方便后续O(1)查询

遍历每条数据，从resMap查到结果，合并出新的Java Bean

Java Bean to Json String，并写入到kafka

 

4. 结果

开启kafka producer shell, 向kafka_streaming_topic写数据

开启kafka consumer shell, 消费hello_topic

5. 总结

通过这个小项目，希望大家可以掌握基本的Spark Streaming流处理操作，包括读写kafka，查询hbase，spark streaming Dstream操作。篇幅有限，全部代码就不一一列出了，完整代码在