从 Kafka 提要读入 SQL Server [关闭]

Posted 2023-03-10

【中文标题】从 Kafka 提要读入 SQL Server [关闭]

【英文标题】：Reading into SQL Server from Kafka feed [closed]

【发布时间】：2019-04-08 18:25:21

【问题描述】：

我需要从 Kafka 提要读取到 SQL Server 数据库，我正在努力寻找有关如何执行此操作的任何详细信息。我意识到这可能很简单，但我搜索并发现只有关于从 SQL 输入 Kafka 的内容

【问题讨论】：

你知道怎么读卡夫卡吗？只需为每条消息执行 SQL Server INSERT 语句即可。

@Dan 从 Kafka 执行手动消费者循环需要仔细的主题偏移管理和数据库错误处理/检测。一般来说，JDBC Sink Kafka Connect 任务会尽力处理这些，但是是的，它只是运行一批插入

+1 @cricket_007 的评论。 Kafka 和 RDBMS（以及与此相关的其他系统）之间的手动编码集成通常是一个坏主意，因为 Kafka Connect 专门为此目的而存在并且做得更好；）

这个问题不是太宽泛。它非常具体，如何从 SQL 服务器将数据读入 apache kafka。如果您更具体，那么您可能已经知道问题的答案。请重新打开这个问题。

【参考方案1】：

使用Kafka Connect 和JDBC Sink connector。

Kafka Connect 是 Apache Kafka 的一部分，它提供两个源到 Kafka 以及从 Kafka 到目标之间的流式集成。要使用它，您只需设置描述数据源和目标的配置文件。您可以在本系列博客中了解更多信息：

https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/ https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/ https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/

This page 包含一个设置 JDBC 接收器的示例。