Flink集成Kafka
Posted 大数据Kafka技术分享
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink集成Kafka相关的知识，希望对你有一定的参考价值。
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。
1. 目标
本例模拟中将集成Kafka与Flink：Flink实时从Kafka中获取消息，每隔10秒去统计机器当前可用的内存数并将结果写入到本地文件中。
2. 环境准备
Apache Kafka 0.11.0.0
Apache Flink 1.3.1
Gradle 3.5 （版本号不是强要求）
本例运行在Windows环境，但可以很容易地移植到其他平台上。
3. 创建Flink Streaming工程
本例使用Intellij IDEA作为项目开发的IDE。首先创建Gradle project，group为'huxihx.flink.demo'，artifact id为‘flink-kafka-demo’，version为‘1.0-SNAPSHOT’。整个项目结构如图所示：
4. 增加kafka和kafka-connector依赖
增加下列gradle依赖：
|
1
以上是关于Flink集成Kafka的主要内容，如果未能解决你的问题，请参考以下文章 kafka 集成整合外部插件（springboot，flume，flink，spark） SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka |