Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive
Posted JasonLee实时计算
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive相关的知识,希望对你有一定的参考价值。
Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive
今天这篇文章主要来介绍一下 Flink 流式写入 Hudi,并把数据加载到 Hive 表里做查询的两种方式,为了方便演示,下文采用 sql client 的方式提交任务,不写一行代码,纯 SQL 的方式来完成。
版本信息
Flink | 1.15.1 |
---|---|
Hadoop | 2.9.0 |
Hudi | 0.12.0 |
Kafka | 2.4.1 |
需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本,因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。
jar 包依赖
把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。
<
以上是关于Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive的主要内容,如果未能解决你的问题,请参考以下文章
Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi(parquet + snappy)并且自动同步数据到 Hive
Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)
Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS(parquet 格式 + snappy 压缩)