如何将 MySQL 连接到 Kafka 集群

Posted 2023-03-23

【中文标题】如何将 MySQL 连接到 Kafka 集群

【英文标题】：How to connect MySQL to Kafka cluster

【发布时间】：2021-04-16 13:25:31

【问题描述】：

我正在尝试学习 kafka 技术，我想在我的电脑中设置一个小管道，它将从 mysql 获取数据并将它们解析到 kafka 集群中。

对于我进行的一项小型研究，我发现最好的方法是 KAFKA CONNECTOR。 有人可以提供有关如何实现上述逻辑的提示或信息吗？

【问题讨论】：

MySQL->Kafka bit 具体的例子可以参考this。 Here's an example 将来自 MySQL 的数据流数据与直接生成到 Kafka 的数据结合起来，并一起处理。

你也可以使用debezium

【参考方案1】：

最简单的方法是使用 JDBC 源连接器将数据从 MySQL 服务器拉到 Kafka 主题以进行进一步处理。请找到Confluent JDBC source connector 的链接。请查看连接器提供的各种配置，以便更好地对齐数据以进行后续处理。

【讨论】：

我觉得因为管道架构是MySql -> Kafka，所以需要JDBC源连接器。我错了吗？