如何使用 kafka 连接 JDBC sink 和 source 使用 python

Posted 2023-03-23

【中文标题】如何使用 kafka 连接 JDBC sink 和 source 使用 python

【英文标题】：How to use kafka connect with JDBC sink and source using python

【发布时间】：2021-11-30 04:45:03

【问题描述】：

我想从一个系统直播到另一个系统。

我正在使用 kafka-python 并且能够在本地直播。

确定连接器可以处理多个设备。有人可以建议我一种使用连接器在 python 中实现它的方法吗？

【参考方案1】：

Kafka Connect 是一个 Java 框架，而不是 Python。

Kafka Connect 运行一个 REST API，您可以使用 urllib3 或 requests 与其交互，而不是 kafka-python

https://kafka.apache.org/documentation/#connect

创建连接器后，欢迎您使用 kafka-python 生成数据，例如 JDBC sink 将使用这些数据，或者您可以使用 pandas 例如写入JDBC source（或 Debezium）将使用的数据库

【讨论】：

谢谢。您能否提供一些参考资料来创建连接器以及如何使用 JDBC 接收器。

我相信您有能力自己找到它。否则，如果您在使用它时遇到问题，请查找文档并随时创建新帖子

@kvgrdeepika 我也遇到了同样的情况，你找到办法了吗？

@Paniz Confluent 博客有几个关于 JDBC 连接器的页面