数据泵中间件

Posted 2021-04-10 sharper

一、数据泵定义

能够实时从RDBMS持续不断导出增量数据的中间件

例如:

1、mysql dump

2、Oralce dump

3、基于JDBC的select命令

4、触发器

5、其他

缺点:

1、非自动化

2、非实时

3、不支持异构数据库

二、Change Data Capture

CDC（异动数据捕获）在MySQL、Oracle下都比较成熟，其他数据库没有深入研究，下面以MySQL来做说明。

MySQL主从是从捕获主的binlog方式实现，那么CDC中间件就可以借助MySQL主从模式伪装成从库来监听主库binlog异动，例如Maxwell中间件，从网上找了几张MySQL主从复制原理图

Oralce是以在线日志文档来记录数据异动

三、数据泵产品

目前我司正在使用Maxwell，缺点就是它本身不支持高可用，要自己想办法（如keepalived），另外不支持异构数据库如SQLServer、DB2、Oracle，若企业内统一都使用MySQL数据库Maxwell也是一个不错的选择，上手容易，若企业用了用友等其他非MySQL数据库软件则建议kafka connect ，易于朝数据中台扩展且能够支持HA。

Maxwell也支持全量数据导出，Canal并不支持，需要阿里DataX来解决。

Kafka Connect应用示意图

四、数据泵应用

下游应用任意想象、任意发挥

五、数据泵+MQ的意义

解耦