flink1.12 sql向redis实时写数据

Posted 2023-04-11

参考技术A 基于 bahir-flink 二次开发，使它支持SQL直接定义写入redis,用户通过DDL指定自己需要保存的字段。

命令行执行 mvn package -DskipTests=true打包后，将生成的包flink-connector-redis_2.12-1.11.1.jar引入flink lib中即可，无需其它设置。

相对上一个版本简化了参数设置，思路更清晰，上一版本字段的值会根据主键等条件来自动生成，这要求使用者需要了解相关规则，有一定的学习成本并且容易埋坑，重构后字段的值由用户在DDL中显示地指定，如下：

取消了必须有主键的限制，使用更简单，如果有多个字段组合成key或者value,需要用户在DML中使用concat_ws等方式组装，不再是插件在后台用不可见字符拼装。

Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

今天这篇文章主要来介绍一下 Flink 流式写入 Hudi，并把数据加载到 Hive 表里做查询的两种方式，为了方便演示，下文采用 sql client 的方式提交任务，不写一行代码，纯 SQL 的方式来完成。

版本信息

Flink	1.15.1
Hadoop	2.9.0
Hudi	0.12.0
Kafka	2.4.1

需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本，因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。

jar 包依赖

把 hudi-flink1.15-bundle-0.12.0.jar 包添加到 flink/lib 下面。

<