是否有开源 Kafka Cassandra 连接器配置的示例示例？

Posted 2023-03-22

【中文标题】是否有开源 Kafka Cassandra 连接器配置的示例示例？

【英文标题】：Is there a sample example of opensource Kafka Cassandra connector configuration?

【发布时间】：2021-09-16 16:58:21

【问题描述】：

我们使用PerimeterX Cassandra Logstash out 插件将来自 Logstash 的事件（日志）提供给 Apache Cassandra。我们已经将插件的最大吞吐量达到了 8K，因为它只打开了 2 个与 Cassandra 的连接，而 Cassandra 的吞吐量要高得多（用于消费数据），我们预计实际系统的吞吐量为 30K 或更高。

这里的吞吐量是消耗传入事件的能力，即 x 个单位/秒

因此我们计划在中间引入 Kafa，它具有 45K 的吞吐量和 Logstash 输出。

我们正在从 this 堆栈溢出帖子寻求帮助。我们可以按照documentation 中的说明配置连接器 JAR。但是没有适当的指南，或者当前的文档非常混乱，并且与配置要求相矛盾。当 Kafka 与目标主题一起运行时，我们看不到插件被调用。

有关正确配置的一些帮助，或有关 Cassandra 键空间的一些文档信息会有所帮助。

【问题讨论】：

看github.com/datastax/kafka-sink

【参考方案1】：

按照documentation 中的说明放置 JAR 后 我们需要运行 Kafka connect，它将显示所有配置的连接器。 要打开 Kafka 连接，请运行以下命令（分布式模式下的 Kafka 连接）

bin/connect-distributed.sh config/connect-distributed.properties

Kafka connect 在 http://localhost:8083 提供了一个 REST API 服务 使用此 REST API，您可以配置您的连接器。

要注册连接器，请使用以下 API

POST /connectors – 创建一个新的连接器；请求正文应该是一个 JSON 对象，其中包含一个字符串名称字段和一个带有连接器配置参数的对象配置字段

注册连接器的 JSON 示例存在于 kafka-connect-cassandra-sink-1.4.0.tar.gz 文件中。

official-documentation 提供了一个包含所有端点的列表。

更多信息here