Note_Logistics_Day09

Posted 2021-06-12 ChinaManor

---

stypora-copy-images-to: img
typora-root-url: ./

Logistics_Day09：实时增量ETL存储Kudu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8mCjigSD-1622096760396)(/img/1612344442449.png)]

01-[复习]-上次课程内容回顾

​ 物流项目数据实时ETL转换开发（存储Kudu数据库）部分功能：消费Kafka数据及ETL转换（JSON->Bean对象），项目开发环境搭建（初始化）。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0fTRTIkV-1622096760398)(/img/1613783556397.png)]

主要讲解如何对实时消费业务数据进行ETL转换：
- 第一步、JSON字符串转换为Bean对象
	Canal采集：12个字段，封装到CanalMessageBean对象
	OGG采集：7个字段（INSERT和DELETE：6个，UPDATe：7个），封装到OggMessageBean对象
	技术实现：
		fastJson库，JSON.parseObject(jsonStr, classOf[MessageBea])

- 第二步、提取Bean对象字段值，封装到对应表的POJO对象
	以OGG采集物流系统业务数据中表：Areas表为