Note_Logistics_Day06

Posted 2021-06-12 ChinaManor

---

stypora-copy-images-to: img
typora-root-url: ./

Logistics_Day04：Kudu 入门使用

01-[复习]-上次课程内容回顾

​ 主要讲解：Kudu 存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析。

1、物流项目ETL流程
	三大业务板块
	1）、数据源Source，都是从Kafka消费交易业务数据
	2）、编写结构化流程序应用，消费数据Kafka数据，进行ETL存储到各个业务板块存储引擎，比如Kudu、ES等
	3）、开发相关业务板块应用程序
		- 离线报表和即席查询：Kudu、SparkSQL及Impala和Hue
		- 实时大屏和数据服务接口：ClickHouse、NodeJS&Vue、SpringCloud
		- 快递物流信息检索：Es、SpringCloud
		
2、Kudu 框架概述
	为什么要使用Kudu，解决什么问题？？？
		业务数据需要离线批处理（比如每日统计报表，批量加载数据分析）：HDFS Parquet
		随机数据读写（比如依据某个字段或主键查询相关数据）：HBase
					|
		Kudu 诞生背景，小米、网易都在使用Kudu
	SQL on Hadoop 技术框架发展史
		Hive ->