Kafka Connect JDBC Source MySQL 全量同步

Posted 2022-02-04 @SmartSi

从数据库获取数据到 Apache Kafka 无疑是 Kafka Connect 最流行的用例。Kafka Connect 提供了将数据导入和导出 Kafka 的可扩展且可靠的方式。由于只用到了 Connector 的特定 Plugin 以及一些配置（无需编写代码），因此这是一个比较简单的数据集成方案。下面我们会介绍如何使用 Kafka Connect 将 mysql 中的数据流式导入到 Kafka Topic。

如果想了解 Kafka Connect 是什么以及做什么的，可以阅读 Kafka Connect 构建大规模低延迟的数据管道 博文；如果想了解 Kafka Connect 是如何使用的，可以阅读 Kafka Connect 如何构建实时数据管道 博文。

1. 安装 Connect 插件

从 Confluent hub 下载 Kafka Connect JDBC 插件并将 zip 文件解压到 /opt/share/kafka/plugins 目录下：

/opt/share/kafka/plugins
└── confluentinc-kafka-connect-jdbc-10.2.2
    ├── doc
    │   ├── LICENSE
    │   └── README.md
    ├── etc