Debezium系列之：基于Debezium实现高可靠性高实时性秒级别的数据响应系统

Posted 2023-04-03 最笨的羊羊

Debezium系列之：基于Debezium实现高可靠性高实时性秒级别的数据响应系统

• 一、高可靠性高实时性系统的需求背景
• 二、具体实现的技术方案
• 三、具体实现技术步骤
• 四、实时同步数据到下游
• 五、技术方案总结

一、高可靠性高实时性系统的需求背景

• 用户在APP更新数据后，数据插入mysql数据库后，debezium采集数据到Kafka，下游flink消费kafka topic中的数据后，插入到ElasticSearch数据库或Starrocks数据库后，业务能够在系统界面立即查询到用户的更新数据，整个过程要能够实现秒级别的响应。
• 对系统的要求是24小时高可靠性高实时性实现数据处理的秒级别响应。

二、具体实现的技术方案

• Debezium基于Kafka Connect集群实现的数据采集会受到多种因素影响，例如kafka connect重平衡等，因此存在无法保证系统24小时实现数据处理的秒级别响应。

• 因此，需要考虑新的技术方案，这里有两种技术方案可以考虑：

  • 基于Debezium引擎技术

Debezium系列之：debezium把sqlserver数据库多张表的数据发送到一个kafka topic

Debezium系列之：debezium把sqlserver数据库多张表的数据发送到一个kafka topic

• 一、需求
• 二、debezium实现sqlserver cdc
• 三、相关参数详解
• 四、完整参数

一、需求

• 把一个sqlserver数据库多张表的数据全部发送到kafka集群的一个topic

二、debezium实现sqlserver cdc

相关技术实现参考博主以下几篇博客：

• Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
• Debezium系列之：sqlserver数据库开启CDC
• Debezium系列之：CentOS7安装sqlserver2019数据库，开启sqlagent 和数据库表的CDC权限