如何在没有 Confluent 的情况下使用 Kafka Connect 从 Kafka 向 AWS S3 发送数据？

Posted 2023-03-23

【中文标题】如何在没有 Confluent 的情况下使用 Kafka Connect 从 Kafka 向 AWS S3 发送数据？

【英文标题】：How to send data to AWS S3 from Kafka using Kakfa Connect without Confluent?

【发布时间】：2020-11-23 21:52:40

【问题描述】：

我有一个 Apache Kafka 2.0.0 的本地实例，它运行得很好。在我的测试中，我从 twitter 生成和使用数据，并将它们放在特定主题 twitter_tweets 中，一切正常。但现在我想通过使用 de connector Kafka Connect S3 的 Kafka Connect 使用主题 twitter_tweets，并且显然不使用 Confluent-CLI 将数据存储在 AWS S3 中。

我可以在没有 Confluent 的情况下执行此操作吗？任何人有一个例子或什么可以帮助我？

【参考方案1】：

没有汇合

S3 Sink 是开源的； Apache Kafka Connect 也是如此。

Connect 框架并非特定于 Confluent

例如，您可以使用 Kafka Connect Docker 映像，或者您可以使用 confluent-hub 在您自己的 Kafka Connect 安装上安装 S3 Connect。

【讨论】：

Kafka Connect S3 拥有 Confluent 社区许可证。我只使用没有融合的 apache kafka 运行测试并为我工作，非常感谢。但我现在的问题是我可以在多集群安装中免费使用连接器吗？

您阅读了许可证吗？它在哪里说它不是免费的和来源可用的？唯一的限制是您不能将其作为竞争产品包装和销售