Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)
Posted JasonLee实时计算
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)相关的知识,希望对你有一定的参考价值。
Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)
版本信息
Flink | 1.15.1 |
---|---|
Hadoop | 2.9.0 |
Hudi | 0.12.0 |
Kafka | 2.4.1 |
需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本,因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。
jar 包依赖
把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。
Kafka Source DDL
drop table
以上是关于Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)的主要内容,如果未能解决你的问题,请参考以下文章
Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive
Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)
Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)