mysql的数据变更通知方法调研

Posted 2023-02-18

参考技术A mysql-cdc-projects

以下是关于不同方法的一些基本总结

flexcdc

Flexviews中包含的CDC工具称为FlexCDC，FlexCDC是用PHP编写的。FlexCDC读取二进制日志 Binary Log以确定哪些行已经更改。因此，FlexCDC使用基于行的二进制日志（RBR）。如果没有MySQL 5.1或者没有使用RBR，那么可以设置一个专用的MySQL从站，它有log_slave_updates = 1和binlog_format = row来处理来自MySQL主站的SBR更改。
FlexCDC不实现完整的二进制日志解析器。而是调用“mysqlbinlog”实用程序，并处理该程序的可预测输出。

databus
从数据源中读取变化的数据，并且将这些数据序列化保存在内存中；

Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后作为JSON写入Kafka，Kinesis，RabbitMQ，Google Cloud Pub / Sub或Redis的应用程序,支持表和库过滤。

进制日志,java读取binlog
mysql-binlog-connector-java
( http://www.phpabc.cn/yi-gou-shu-ju-ku-biao-zai-xian-tong-bu.html )
主要有以下几个概念：
BinaryLogClient，使用binlog的客户端
Event，数据增删改查等都被抽象为一个事件
EventListener，事件监听者，当事件发生时得到通知
EventFilter，事件过滤器，这样EventListener就可以只监听符合条件的事件

使用mysql-binlog-connector-java的方法