Note_Logistics_Day08

Posted 2021-06-12 ChinaManor

---

stypora-copy-images-to: img
typora-root-url: ./

Logistics_Day08：实时增量ETL存储Kudu

01-[复习]-上次课程内容回顾

主要讲解2个方面内容：搭建物流项目环境（Maven Project）和结构化流程序（测试）

1、搭建物流项目环境
	- Windows系统开发环境初始化
		设置HADOOP_HOME：指向在windows下编译HADOOP，bin目录winutils.exe和hadoop.dll
		设置hadoop.dll 文件：放置C:\\Windows/System32
	- 创建MavenProject工程
		1个父工程，4个子模块（common、etl、generate、offline）
		创建工程、创建模块、加入POM依赖
		导入genereate数据生成器模块
		进行初始化操作
			创建基础包、导入工具类
			属性文件：config.properties，连接服务信息参数

2、测试结构化流程序
	编写结构化流应用程式，实时从Kafka消费数据（2个Topic，对应2个业务系统数据），将其打印控制台
		- 启动数据库和采集框架，对表的数据进行更新和删除，流式是否消费到数据
		- 运行数据模拟生成器，实时产生业务数据，插入到数据库表中，流式是否消费到数据

02-[