有哪些开源解决方案可以使用 Kafka Connect 将数据从 Kafka 移动到 HDFS3？

Posted 2023-03-23

【中文标题】有哪些开源解决方案可以使用 Kafka Connect 将数据从 Kafka 移动到 HDFS3？

【英文标题】：What open source solutions exist to move data from Kafka to HDFS3 using Kafka Connect?

【发布时间】：2021-07-27 15:25:42

【问题描述】：

除了 Confluent HDFS 库（非开源）之外，是否有任何完全开源的库可以将消息从 Kafka（使用 Kafka Connect）移动到 HDFS 3？

Kafka Connect HDFS 2 Sink - Confluent 社区许可证 Kafka Connect HDFS 3 Sink - Confluent 企业许可证

相关：Need to move small JSON messages from Kafka to HDFS with Kakfa Connect but without using Confluent libs, if not completely free

【问题讨论】：

请求外部库被认为是题外话 - help center.

【参考方案1】：

HDFS2 连接器是开源的，如果您不使用它作为托管服务提供它，或者如我之前所说，Apache Nifi 是一个更丰富的工作流产品，与 Kafka 一起在 Hadoop 生态系统中运行良好。 Spark 或 Flink 也经常用于此目的

【讨论】：

HDFS2 连接器可以写在 HDFS 3 上吗？

我不明白为什么它不能。虽然我没有亲自尝试过

来自网站：Kafka Connect HDFS 2 Sink 连接器允许您将数据从 Kafka 主题导出到各种格式的 HDFS 2.x 文件，并与 Hive 集成以使数据立即可用于查询HiveQL。

这并没有明确表示它不起作用。例如，Spark 2 仍然使用 HDFS 2.x 客户端库，它仍然可以与 HDFS 3.x 服务器一起使用