mysql 第四十篇文章~canal+otter的初次尝试

Posted 2020-10-17

一 简介: 今天咱们来聊聊 canal和otter的组合搭配吧
二 概念统计
    1. 基于Canal开源产品，获取数据库增量日志数据。

    2. 典型管理系统架构，manager(web管理)+node(工作节点)

          a. manager运行时推送同步配置到node节点

          b. node节点将同步状态反馈到manager上

   3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

三 机器组成:

     1 manager节点(最好自带数据库)  2 node节点   3 ZK集群 4 mysql数据库(2 台)

四  manager安装

   1 下载sql文件并导入
      wget https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql
      source otter-manager-schema.sql
    2 下载安装包
     wget https://github.com/alibaba/otter/releases/download/v4.2.15/manager.deployer-4.2.15.tar.gz
     tar xzvf manager.deployer-4.2.15.tar.gz -C /usr/local/otter-manager
   3 修改配置文件otter.properties
     otter.zookeeper.cluster.default = zk地址:2181
     otter.domainName =本机IP地址
     otter.database.driver.url = jdbc:mysql://IP:3306/otter
     otter.database.driver.username = 用户名
     otter.database.driver.password = 密码 //otter管理节点需要使用数据库，这里设置的是连接这台数据库的用户名密码
  4 启动相应进程
     startup.sh
  5 manager启动测试
     访问地址 http://127.0.0.1:8080/login.htm，初始密码为：admin/admin

  6 访问成功截图

     
  二 node 启动
    注意 必须安装manager,在web界面对node节点进行配置
       1 登录web界面进行node节点配置

       
          机器名称：可以随意定义，方便自己记忆即可
          机器ip：对应node节点将要部署的机器ip，如果有多ip时，可选择其中一个ip进行暴露. (此ip是整个集群通讯的入口，实际情况千万别使用127.0.0.1，否则多个机器的node节点会无法识别)
          机器端口：对应node节点将要部署时启动的数据通讯端口，建议值：2088
          下载端口：对应node节点将要部署时启动的数据下载端口，建议值：9090
          外部ip ：对应node节点将要部署的机器ip，存在的一个外部ip，允许通讯的时候走公网处理。
          zookeeper集群：为提升通讯效率，不同机房的机器可选择就近的zookeeper集群.
  2 从节点服务器进行安装配置
        1 wget https://github.com/alibaba/otter/releases/download/v4.2.15/node.deployer-4.2.15.tar.gz
           tar xzvf node.deployer-4.2.15.tar.gz -C /usr/local/otter-node 
          wget http://repository.it4i.cz/mirrors/repoforge/redhat/el6/en/x86_64/rpmforge/RPMS/rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm
          rpm -ivh rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm
           yum -y install aria2

      2 修改配置文件

           1 NID配置

              echo 1 > conf/nid (这里的NID是第一步配置生成的第一个ID)
          2 otter.properties配置修改
              otter.manager.address = IP:1099 正确的otter-manager地址
          3 启动node节点服务

    3 查看状态
         

     状态已启用代表正常,如果没有启用,请查看日至进行排查，可能端口被占用

   请注意 otter+canal 只支持row格式下的binlog格式

至此,主从节点配置完成,今天先到这里吧