Flink实战系列Flink SQL 实时同步数据到 Hive
Posted JasonLee实时计算
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink实战系列Flink SQL 实时同步数据到 Hive相关的知识，希望对你有一定的参考价值。
通过 HiveCatalog, Apache Flink 可以对 Apache Hive Tables 进行统一的 BATCH 和 STREAM 处理。这意味着Flink 可以作为一个比 Hive 的批处理引擎性能更好的选择，或者可以连续地在 Hive 表中读写数据，从而支持实时数据仓库应用程序。这篇文章就来介绍一下使用 Flink SQL 实时同步数据到 Hive 的流程。
环境
flink: 1.15.0
hadoop: 2.9.0
hive: 2.3.4
依赖
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-hive_2.1以上是关于Flink实战系列Flink SQL 实时同步数据到 Hive的主要内容，如果未能解决你的问题，请参考以下文章
Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive
Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
Flink 实战系列Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）