Kafka 连接 API 客户端

Posted

技术标签:

【中文标题】Kafka 连接 API 客户端【英文标题】:Kafka connect API client 【发布时间】:2016-12-18 10:10:00 【问题描述】:

尝试将数据从 kafka 写入 hdfs。任何地方都没有记录如何使用 Confluent 的 kafka-connect-hdfs Java API。

【问题讨论】:

【参考方案1】:

您不需要使用 Java API。 KafkaConnect 可以在命令行或 REST API 中使用...即使您从 Java 触发连接器,the REST API 仍然可以工作。

一些帮助您入门的文档:

首先,KafkaConnect 快速入门,只是为了在尝试执行高级操作之前确保您的系统处于良好状态: http://docs.confluent.io/3.0.0/connect/intro.html#quickstart

如果您是 Kafka 新手,甚至可以更早地从 Kafka 快速入门开始: https://kafka.apache.org/quickstart

一旦单机更多工作,请尝试切换到分布式模式并查看the REST API

然后尝试 HDFS 连接器。要么从快速入门开始: http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

或者博客教程: http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

希望这对您有所帮助。

【讨论】:

我们必须使用来自 kafka 流的数据并转储到 HDFS。小代码 sn-p 会有所帮助。我热衷于只使用 Java API 您可以为此使用连接器:docs.confluent.io/3.0.0/connect/connect-hdfs/docs/…【参考方案2】:

您可以使用 Kafka 的 Producer Java API 写入 Kafka 主题。

kafka-connect-hdfs 将从主题中获取消息并将它们放入 HDFS。这不需要 Java 代码。

您运行它已在 kafka-connect-hdfs 快速入门中显示:

$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \
etc/kafka-connect-hdfs/quickstart-hdfs.properties

目前,kafka-connect-hdfs 仅支持在 Kafka Schema Registry 中注册的具有 Avro 数据格式的主题。

【讨论】:

以上是关于Kafka 连接 API 客户端的主要内容,如果未能解决你的问题,请参考以下文章

kafka AdminClient 闲时关闭连接

Apache Kafka系列 Java API使用

Kafka核心API——AdminClient API

Kafka核心API——AdminClient API

kafka----kafka API(java版本)

kafka客户端API问题