canal===docker部署canal

Posted 一夜暴富--gogogo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了canal===docker部署canal相关的知识,希望对你有一定的参考价值。

一、canal介绍

canal译为水道,管道,主要用途是基于 mysql 数据库增量日志解析,提供增量数据订阅和消费。
canal的工作原理就是把自己伪装成MySQL slave,模拟MySQL slave的交互协议向MySQL Mater发送 dump协议,MySQL mater收到canal发送过来的dump请求,开始推送binary log给canal,然后canal解析binary log,再发送到存储目的地,比如MySQL,Kafka,Elastic Search等等。

canal的作用:

  • 数据库镜像

  • 数据库实时备份

  • 索引构建和实时维护

  • 业务cache(缓存)刷新

  • 带业务逻辑的增量数据处理

    说明:
    server代表一个canal运行实例,对应于一个jvm
    instance对应于一个数据队列

    instance模块:
    eventParser (数据源接入,模拟slave协议和master进行交互,协议解析)
    eventSink (Parser和Store链接器,进行数据过滤,加工,分发的工作)
    eventStore (数据存储)
    metaManager (增量订阅&消费信息管理器)

二、docker部署canal

1.部署canal-admin

#1.下载包
cd /opt
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/cana l.admin-1.1.5.tar.gz
mkdir canal-admin
tar -zxvf canal.admin-1.1.5.tar.gz -C canal-admin

#2.登录数据库,创建库---mysql安装略(开启binlog)
create database canal_manager;
grant all privileges on canal_manager.* to canal@'%' identified by 'canal'
flush privileges;
exit
mysql -ucanal -pcanal
use canal_manager; 
source /Users/jing/Opt/canal-admin/conf/canal_manager.sql

#3.启动镜像canal-admin
docker pull canal/canal-admin:v1.1.5
docker run --network mynet -p 8089:8089 -v /Opt/canal-admin/conf:/home/admin/canal-admin/conf -v /opt/canal-admin/logs:/home/admin/canal-admin/logs --name canal-admin -e spring.datasource.addres s="mysqlip:3306/canal_manager?allowMultiQueries=true&useUnicod=true&charac terEncodin=utf-8&serverTimezone=CTT&allowPublicKeyRetrieval=true&useSSL= false" -e spring.datasource.username=canal -e spring.datasource.password =canal -e canal.adminPasswd=123456 -d canal/canal-admin:v1.1.5
注:canal_manager.sql 提供的脚本中,canal_user 表提供的默认⽤户名为: canal,密码为:6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9,也就是 SELECT PASSWORD('123456'); 的值
所以登陆 canal-admin 管理平台的⽤户名就是 admin/123456。 
但当你登录进 canal-admin 容器中,会发现在 /home/admin/canal-admin/conf ⽬录存在⼀个 application.yml ⽂件
该⽂件中的配置项正是我们 docker 命令 -e 所指定的选项。 
application.yml ⽂件中存在这样⼀个配置:
 
 canal:
  adminUser: admin
  adminPasswd: admin
  
这⾥请把 adminPasswd 改成 123456,或者在启动容器时指定: -e canal.adminPasswd=123456 ,以保证和 canal_manager 的 canal_user 表下 admin 账号的密 码保持⼀致

浏览器访问:IP:8089  默认用户名密码:admin/123456

2.创建集群



#修改配置
 # zk 的地址需要指定 
 canal.zkServers = zookeeper:2181 
 # tcp, kafka, rocketMQ, rabbitMQ 
 canal.serverMode = tcp 
 # 此配置需要修改成 default-instance 
 canal.instance.global.spring.xml = classpath:spring/default-instance.xml 
 # 这个不需要指定,在admin上⼿动添加 
 canal.destinations

3.启动canal-server镜像

#1.启动canal-server
docker run --network mynet -p 11111:11111 -v /opt/canal-serve r/logs:/home/admin/canal-server/logs/canal --name canal-server01 -e cana l.admin.register.auto=true -e canal.admin.register.cluster=test -e cana l.admin.register.name=canal-server01 -e canal.admin.manager=canal-admin: 8089 -e canal.admin.port=11110 -e canal.admin.user=admin -e canal.admin. passwd=6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 -e canal.admin.register. cluster=test -d canal/canal-server:v1.1.5

canal.admin.passwd 的密码,可在 canal_manager 的 canal_user 表下找到,实际上就是: SELECT upper(sha1(unhex(sha1(‘123456’)))); 的值 我这⾥只起了⼀个 Canal Server,根据需要可以起多个 此时 Canal Admin 将⾃动出现刚刚启动的 Canal Server:

4.创建 instance

Canal Admin 界⾯上新建 Instance,选择载⼊模板,修改如下配置项:

# mysql集群配置中的serverId概念,需要保证和当前mysql集群中id唯⼀ (v1.1.x版本之后c anal会⾃动⽣成,不需要⼿⼯指定) 
# canal.instance.mysql.slaveId=0 
# mysql主库链接地址 
canal.instance.master.address=mysql:3306 
# mysql主库链接时起始的binlog⽂件 
canal.instance.master.journal.name= 
# mysql主库链接时起始的binlog偏移量 
canal.instance.master.position= 
# mysql主库链接时起始的binlog的时间戳 
canal.instance.master.timestamp= 
# mysql数据库帐号(此处的⽤户名和密码为 安装canal#mysql配置相关#创建canal⽤户 这⼀步 创建的⽤户名和密码) 
canal.instance.dbUsername=canal 
# mysql数据库密码 
canal.instance.dbPassword=canal 
# mysql 数据解析编码 
canal.instance.connectionCharset = UTF-8 
# mysql 数据解析关注的表,Perl正则表达式,即我们需要关注那些库和那些表的binlog数据, 也可以在canal client api中⼿动覆盖 
canal.instance.filter.regex=.*\\\\..* 
# table black regex 
# mysql 数据解析表的⿊名单,表达式规则⻅⽩名单的规则 
canal.instance.filter.black.regex=mysql\\\\.slave_.*

三、docker-compose部署canal

1.部署canal-admin

#1.安装docker-compose
sudo yum -y install epel-release
sudo yum -y update
sudo yum -y install python-pip
yum install -y docker-compose
docker-compose -v

#1.将docker部署的配置文件放到相应目录
mv /opt/canal-admin /data/ota/config/canal-admin

#2.在相应的目录下编写yml文件
cd /data/ota/yaml
vim  canal-admin.yml
version: '3.1'
services:
  ota-canal-admin:
    image: canal/canal-admin:v1.1.5
    container_name: ota-canal-admin
    restart: always
    environment:
     spring.datasource.address: 172.17:3306
     spring.datasource.database: canal_manager
     spring.datasource.username: canal
     spring.datasource.password: canal
     driver-class-name: com.mysql.jdbc.Driver
      
    volumes:
      - ../logs/canal-admin:/home/admin/canal-admin/logs
      - ../config/canal-admin/conf:/home/admin/canal-admin/conf
    ports:
      - "18089:8089"
    networks:
      - otanet
    extra_hosts:
      - "ota-mysql:172.17"
      - "ota-canal-admin:172.17"
networks:
  otanet:
    external: true


#3.启动
docker-compose -p ota-canal-admin -f canal-admin.yml  up -d

docker-compose -p ota-canal-admin -f canal-admin.yml  down  #停止

#4.浏览器访问IP:18089

2.部署canal-server

#1.导出手动部署的数据库配置(数据库要在canal-admin部署之前导入)
mysqldump -uroot -p --databases canal_manager >canal_manager.sql
将备份的sql导入数据库

#2.编写yml文件
cd /data/ota/yaml
vim canal-server01.yml
version: '3.1'
services:
  ota-canal-server:
    image: canal/canal-server:v1.1.5
    container_name: ota-canal-server01
    restart: always
    environment:
      PARAMS: "--canal.admin.register.auto=true --canal.admin.register.cluster=test --canal.admin.register.name=canal-server01 --canal.admin.manager=canal-admin:8089 --canal.admin.port=11110 --canal.admin.user=admin --canalk.admin.passwd=6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  "
    ports:
      - 11111:11111
    volumes:
      - ../logs/canal-server01:/home/admin/canal-server/logs/canal
    networks:
      - otanet
    extra_hosts:
      - "ota-mysql:172.17"
networks:
  otanet:
    external: true


#3.启动
docker-compose -p canal-server01 -f canal-server01.yml up -d
docker-compose -p canal-server01 -f canal-server01.yml down  #停止

以上是关于canal===docker部署canal的主要内容,如果未能解决你的问题,请参考以下文章

docker部署canal 1.1.6 rocketmq 分区顺序性

docker部署canal 1.1.6 rocketmq 分区顺序性

使用 Docker 部署 canal,并将消息推送到 RabbitMQ

2021-10-24 基于Docker结合Canal实现MySQL实时增量数据传输功能

大数据课后作业:从零搭建canal实时采集数据

Canal——Canal-Adapter源码在IDEA部署运行