需要使用 Kafka Connect 将小型 JSON 消息从 Kafka 移动到 HDFS，但不使用 Confluent 库，如果不是完全免费的话

Posted 2023-03-23

【中文标题】需要使用 Kafka Connect 将小型 JSON 消息从 Kafka 移动到 HDFS，但不使用 Confluent 库，如果不是完全免费的话

【英文标题】：Need to move small JSON messages from Kafka to HDFS with Kakfa Connect but without using Confluent libs, if not completely free

【发布时间】：2021-06-24 16:26:18

【问题描述】：

我想使用 Kakfa Connect 将 JSON 消息从 Kafka 移动到 HDFS，然后是 Impala，仅使用 OpenSource 库。

我试图了解是否可以将 Confluent Sink 库用于 Kakfa Connect，而无需使用整个 Confluent 发行版。

是否有其他和/或更好的选择来实现这一目标？

【问题讨论】：

Nifi 可以解决这个问题

【参考方案1】：

Kafka Connect HDFS 2 Sink 在Confluent Community Licence 下可用。它是 Apache Kafka 的插件；您无需运行 Confluent Platform 即可使用它。

【讨论】：

OP 可能指的是 HDFS3 接收器

OP是什么意思？

“原始海报”，即你 :-)