阿里开源项目——Canal

Posted 2021-04-30 河北凝讯科技订阅号

1.Canal是什么？

canal是阿里巴巴旗下的一款开源项目，使用纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql（也支持mariaDB）。canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

2.Canal工作原理

原理相对比较简单：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

mysql master收到dump请求，开始推送binary log给slave(也就是canal)

canal解析binary log对象(原始为byte流)

3.Mysql开启binlog模式

canal是基于mysql的主从模式实现的，所以必须先开启binlog模式.

(1) 修改/etc/my.cnf 需要开启主 从模式，开启binlog模式。

执行如下命令，编辑mysql配置文件

命令行如下：

修改mysqld.cnf配置文件，添加如下配置：

上图配置如下：

(2) 创建账号 用于测试使用,

使用root账号创建用户并授予权限

(3)重启mysql容器

4.spring boot项目如何使用Canal？

（1）Canal的starter放入maven库

Canal是阿里的产品，中央仓库是没有的，所以需要手动放入自己的maven仓库。
下面 是从阿里下载的statrer：

（2）引入pom

（3）配置文件配置

（4）监听创建

创建一个CanalDataEventListener类，实现对表增删改操作的监听，代码如下

：

（5）启动类创建

创建启动类，代码如下：

（6）测试

启动canal微服务，然后修改任意数据库的表数据，canal微服务后台输出如下：

编辑整理丨月哥说了算