学习使用哪个 Kafka API 以将传统集成系统转换为 Apache Kafka

Posted 2023-03-23

【中文标题】学习使用哪个 Kafka API 以将传统集成系统转换为 Apache Kafka

【英文标题】：Which Kafka API to study to use in order to convert a traditional Integration system into Apache Kafka

【发布时间】：2021-09-01 21:44:16

【问题描述】：

我了解 Apache Kafka 的极端基础知识。但是，我不了解 Kafka API。

假设我有一个应用程序从源系统获取数据（通过 SQL 查询），对其进行处理（通过 Java 代码），然后将处理后的数据插入/更新到目标系统（通过 SQL 查询）。

这是一个计划作业，每隔几个小时运行一次，并且只选择在最后一次成功运行后在源系统中更新的数据。例如：- 最后一次成功运行是在下午 6 点，下一次运行安排在晚上 11 点，因此只有在下午 6 点到 11 点之间更新的数据才会从源系统中获取。

如果我想使用 Apache Kafka 和 Java / Spring 实现这样的系统，建议学习和使用的 Kafka API 是什么。

此外，任何关于建议 API 的教程或 Java / Spring 示例代码链接都将不胜感激。

提前致谢！

【参考方案1】：

我们在这里谈论的是哪个数据库。在 KAFKA 世界中有 100 种方法可以实现这一点，但最好的实现是 Database Sink/Source Connector。它只是一个插件，我们只需要进行最低限度的配置，您还可以进行数据转换和丰富。

对于您的基本了解，请参考

https://dzone.com/articles/kafka-connectors-without-kafka https://dzone.com/articles/data-ingestion-from-rdbms-by-leveraging-confluents