Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

Posted 2022-10-21 JasonLee实时计算

Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

今天这篇文章主要来介绍一下 Flink 流式写入 Hudi，并把数据加载到 Hive 表里做查询的两种方式，为了方便演示，下文采用 sql client 的方式提交任务，不写一行代码，纯 SQL 的方式来完成。

版本信息

Flink	1.15.1
Hadoop	2.9.0
Hudi	0.12.0
Kafka	2.4.1

需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本，因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。

jar 包依赖

把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。

<