如何在 Kafka 0.10.1.0 中使用 Flink?

Posted

技术标签:

【中文标题】如何在 Kafka 0.10.1.0 中使用 Flink?【英文标题】:How to use Flink with Kafka 0.10.1.0? 【发布时间】:2017-05-10 06:21:15 【问题描述】:

Flink 是否支持 Kafka 0.10.1.0?

我看到有一个flink-connector-kafka-0.10,但我在 flink 最新版本中看不到它。

目前我正在使用

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka-0.9_2.10</artifactId>
    <version>1.1.2</version>
</dependency>

【问题讨论】:

【参考方案1】:

Flink 的下一个次要版本 Flink 1.2.0 将包含一个用于 Kafka 0.10.x 的连接器(请参阅 JIRA issue)。

1.2.0 的功能冻结发生在几天前。 Flink 1.2.0 将在测试和社区投票后发布,希望在 2017 年 1 月发布。

【讨论】:

【参考方案2】:

目前,我正在使用 Kafka 连接器 0.9_2.10 运行 Flink 1.1.4 和 Kafka 0.10.0.0

<dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>1.1.4</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka-0.9_2.10</artifactId>
        <version>1.1.3</version>
    </dependency>

【讨论】:

以上是关于如何在 Kafka 0.10.1.0 中使用 Flink?的主要内容,如果未能解决你的问题,请参考以下文章

jmxtrans 监控kafka

Kafka集群搭建

Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验

zookeeper 和 kafka 的安装使用

Spark编程--Kafka安装与配置 (Kafka版本 kafka_2.11_2.2.1)

Elasticsearch:Data pipeline: Kafka => Flink => Elasticsearch