Flink从Kafka写入mysql

Posted 一杯咖啡半杯糖

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink从Kafka写入mysql相关的知识,希望对你有一定的参考价值。

 简介:

    Flink实际生产过程中需要把数据从kafka中读取,处理后写入mysql中作为查询展示,本程序可以在本地运行,也可提交到yarn上运行,完整的Flink代码,开箱简单修改即可用。

本工程提供

1、项目源码及详细注释,简单修改即可用在实际生产代码

2、成功编译截图

3、linux提交命令

4、提交到yarn上截图

5、自己编译过程中可能出现的问题

6、测试kafka连接代码

成功编译成功信息如下

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ flink-kafka-to-mysql ---
[INFO] Building jar: D:\\flink\\flink-kafka-to-mysql\\target\\flink-kafka-to-mysql-1.0-SNAPSHOT.jar
[INFO] 
[INFO] --- maven-assembly-plugin:3.0.0:single (make-assembly) @ flink-kafka-to-mysql ---
[INFO] Building jar: D:\\flink\\flink-kafka-to-mysql\\target\\flink-kafka-to-mysql-1.0-SNAPSHOT-jar-with-dependencies.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:

以上是关于Flink从Kafka写入mysql的主要内容,如果未能解决你的问题,请参考以下文章

Flink从Kafka写入mysql

2021年最新Flink读写Kafka数据——Flink数据写入Kafka+从Kafka存入Mysql

Flink从Kafka获取数据写入MySQL的实现

Flink从Kafka获取数据写入MySQL的实现

Flink从Kafka获取数据写入MySQL的实现

Flink从Kafka消费并统计结果写入Kafka