Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)

Posted JasonLee实时计算

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)相关的知识,希望对你有一定的参考价值。

Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)

版本信息

Flink 1.15.1
Hadoop 2.9.0
Hudi 0.12.0
Kafka 2.4.1

需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本,因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。

jar 包依赖

把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。

Kafka Source DDL

drop table

以上是关于Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)的主要内容,如果未能解决你的问题,请参考以下文章

Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive

Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)

Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)

Flink实战系列Flink 读取 Hive 数据同步到 Kafka