Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive

Posted JasonLee实时计算

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive相关的知识,希望对你有一定的参考价值。

Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive

今天这篇文章主要来介绍一下 Flink 流式写入 Hudi,并把数据加载到 Hive 表里做查询的两种方式,为了方便演示,下文采用 sql client 的方式提交任务,不写一行代码,纯 SQL 的方式来完成。

版本信息

Flink 1.15.1
Hadoop 2.9.0
Hudi 0.12.0
Kafka 2.4.1

需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本,因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。

jar 包依赖

把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。

<

以上是关于Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive的主要内容,如果未能解决你的问题,请参考以下文章

Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive

Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)

Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)

Flink实战系列Flink 读取 Hive 数据同步到 Kafka