大数据Canal:使用Canal同步MySQL数据

Posted Lansonli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据Canal:使用Canal同步MySQL数据相关的知识,希望对你有一定的参考价值。

文章目录

​​​​​​使用Canal同步MySQL数据

一、​​​​​​​Canal架构原理

1、Canal Server结构

2、Canal同步MySQL数据原理

3、关于同步MySQL数据配置信息

二、​​​​​​​​​​​​​​配置步骤

1、配置“canal.properties”

2、配置mysql slave的权限

3、配置“instance.properties”

4、启动Canal

5、启动zookeeper和Kafka,并监控Kafka中“canal_topic”的数据

6、在MySQL中建表,插入语句


​​​​​​使用Canal同步MySQL数据

使用Canal同步mysql的数据可以直接使用Canal客户端API方式消费Canal同步的数据,详细api参照:

ClientAPI · alibaba/canal Wiki · GitHub

也可以直接通过Canal将数据写入Kafka。下面我们使用Canal同步MySQL数据到Kafka为例,学习下Canal如何同步MySQL数据。

一、​​​​​​​​​​​​​​Canal架构原理

1、Canal Server结构

  • server 代表一个 canal 运行实例,对应于一个 jvm。
  • instance 对应于一个数据队列 (1个 canal server 对应 1..n 个 instance )
  • instance 下的子模块
  1. eventParser: 数据源接入,模拟 slave 协议和 master 进行交互,协议解析
  2. eventSink: Parser 和 Store 链接器,进行数据过滤,加工,分发的工作
  3. eventStore: 数据存储
  4. metaManager: 增量订阅 & 消费信息管理器

2、Canal同步MySQL数据原理

EventParser在向mysql发送dump命令之前会先从Log Position中获取上次解析成功的位置(如果是第一次启动,则获取初始指定位置或者当前数据段binlog位点)。mysql接受到dump命令后,由EventParser从mysql上pull binlog数据进行解析并传递给EventSink(传递给EventSink模块进行数据存储,是一个阻塞操作,直到存储成功),传送成功之后更新Log Position。流程图如下:

 

EventSink起到一个类似channel的功能,可以对数据进行过滤、分发/路由(1:n)、归并(n:1)和加工。EventSink是连接EventParser和EventStore的桥梁。

EventStore实现模式是内存模式,内存结构为环形队列,由三个指针(Put、Get和Ack)标识数据存储和读取的位置。

MetaManager是增量订阅&消费信息管理器,增量订阅和消费之间的协议包括get/ack/rollback,分别为:

  1. Message getWithoutAck(int batchSize),允许指定batchSize,一次可以获取多条,每次返回的对象为Message,包含的内容为:batch id[唯一标识]和entries[具体的数据对象]。
  2. void rollback(long batchId),顾名思义,回滚上次的get请求,重新获取数据。基于get获取的batchId进行提交,避免误操作。
  3. void ack(long batchId),顾名思义,确认已经消费成功,通知server删除数据。基于get获取的batchId进行提交,避免误操作。

3、关于同步MySQL数据配置信息

首先Canal可以是一个集群,这里以Canal单机为例解释Canal同步MySQL数据配置文件配置原理。

首先需要在Canal中配置CanalServer 对应的canal.properties,这个文件中主要配置Canal对应的同步数据实例(Canal Instance)位置信息及数据导出的模式,例如:我们需要将某个mysql中的数据同步到Kafka中,那么就可以创建一个“数据同步实例”,导出到Kafka就是一种模式。

其次,需要配置Canal Instance 实例中的instance.properties文件,指定同步到MySQL数据源及管道信息。

二、​​​​​​​​​​​​​​配置步骤

1、配置“canal.properties”

进入“/software/canal/conf”目录下,编辑“canal.properties”文件:

#canal将数据写入Kafka,可配:tcp, kafka, RocketMQ,tcp就是使用canal代码接收
canal.serverMode = kafka
#配置canal写入Kafka地址
canal.mq.servers = node1:9092,node2:9092,node3:9092

关于canal.properties更多参数参照:

AdminGuide · alibaba/canal Wiki · GitHub

2、配置mysql slave的权限

Canal的原理是模拟自己为mysql slave,所以这里一定需要做为mysql slave的相关权限 ,授权Canal连接MySQL具有作为MySQL slave的权限:

mysql> CREATE USER canal IDENTIFIED BY 'canal'; 
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
mysql> FLUSH PRIVILEGES;
mysql> show grants for 'canal' ;

 

3、配置“instance.properties”

进入“/software/canal/conf/example/”下,编辑“instance.properties”文件:

#canal伪装为一个mysql的salve,配置其id,不要和真正mysql server-id冲突,这里也可以不配置,会自动生成
canal.instance.mysql.slaveId=123456
#配置mysql master 节点及端口
canal.instance.master.address=node3:3306

#配置连接mysql的用户名和密码,就是前面复制权限的用户名和密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

#配置Canal将数据导入到Kafka topic
canal.mq.topic=canal_topic

配置参照:

Canal Kafka RocketMQ QuickStart · alibaba/canal Wiki · GitHub

关于“instance.properties”更多参数介绍如下:AdminGuide · alibaba/canal Wiki · GitHub

4、启动Canal

进入“/software/canal/bin”,执行“startup.sh”脚本启动Canal。

#启动Canal
[root@node3 ~]# cd /software/canal/bin/
[root@node3 bin]# ./startup.sh 
[root@node3 bin]# jps
68675 CanalLauncher  #启动成功

5、启动zookeeper和Kafka,并监控Kafka中“canal_topic”的数据

注意:“canal_topic”不需要提前创建,默认创建就是1个分区。

[root@node2 bin]# ./kafka-console-consumer.sh  --bootstrap-server node1:9092,node2:9092,node3:9092 --topic canal_topic

6、在MySQL中建表,插入语句

mysql> create database testdb;
mysql> use testdb;
mysql> create table person(id int ,name varchar(255),age int);
mysql> insert into person values (1,"zs",18),(2,"ls",19),(3,"ww",20);

对应的在Kafka中有对应的数据日志写入

 

以上写入Kafka中json格式如下:

关于以上json字段解析如下:

  • data:最新的数据,为JSON数组,如果是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据,如果是删除,则表示被删除的数据。
  • database:数据库名称。
  • es:事件时间,13位的时间戳
  • id:事件操作的序列号,1,2,3...
  • isDdl:是否是DDL操作。
  • mysqlType:字段类型。
  • old:旧数据。
  • pkNames:主键名称。
  • sql:SQL语句。
  • sqlType:是经过canal转换处理的,比如unsigned int会被转化为Long,unsigned long会被转换为BigDecimal。
  • table:表名。
  • ts:日志时间。
  • type:操作类型,比如DELETE,UPDATE,INSERT。

  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

以上是关于大数据Canal:使用Canal同步MySQL数据的主要内容,如果未能解决你的问题,请参考以下文章

实战 | MySQL Binlog通过Canal同步HDFS

canal实时同步mysql数据到elasticsearch(部署,配置,测试)

使用canal解决Mysql和ElasticSearch数据同步问题

使用Canal中间件同步MySql数据到ElasticSearch

mysql的数据表同步工具 canal的使用

数据实时同步利器-Canal