如何在 Kafka 0.10.1.0 中使用 Flink?
Posted
技术标签:
【中文标题】如何在 Kafka 0.10.1.0 中使用 Flink?【英文标题】:How to use Flink with Kafka 0.10.1.0? 【发布时间】:2017-05-10 06:21:15 【问题描述】:Flink 是否支持 Kafka 0.10.1.0?
我看到有一个flink-connector-kafka-0.10
,但我在 flink 最新版本中看不到它。
目前我正在使用
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka-0.9_2.10</artifactId>
<version>1.1.2</version>
</dependency>
【问题讨论】:
【参考方案1】:Flink 的下一个次要版本 Flink 1.2.0 将包含一个用于 Kafka 0.10.x 的连接器(请参阅 JIRA issue)。
1.2.0 的功能冻结发生在几天前。 Flink 1.2.0 将在测试和社区投票后发布,希望在 2017 年 1 月发布。
【讨论】:
【参考方案2】:目前,我正在使用 Kafka 连接器 0.9_2.10 运行 Flink 1.1.4 和 Kafka 0.10.0.0
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.1.4</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka-0.9_2.10</artifactId>
<version>1.1.3</version>
</dependency>
【讨论】:
以上是关于如何在 Kafka 0.10.1.0 中使用 Flink?的主要内容,如果未能解决你的问题,请参考以下文章
Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验
Spark编程--Kafka安装与配置 (Kafka版本 kafka_2.11_2.2.1)
Elasticsearch:Data pipeline: Kafka => Flink => Elasticsearch