Canal Admin

Posted 2020-12-09 victorbu

一、Canal Admin 安装与配置

1.1 下载

wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz
tar zxvf canal.admin-$version.tar.gz

1.2 配置

conf/application.yml

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 192.168.137.1:3306
  database: canal_manager
  username: canal
  password: canal
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

1.3 初始化元数据库

数据库脚本位于 conf/canal_manager.sql

1.4 启动

sh bin/stop.sh

如果启动成功，可以通过 IP:8089 访问，默认密码：admin/123456

二、canal 配置

canal.properties 添加配置：

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =

重启 canal

或者不修改 canal.properties 配置，直接使用下面命令启动(使用 canal_local.properties 的配置)：

sh bin/startup.sh local

或者删除 canal.properties 将 canal_local.properties 重命名为 canal.properties， 重启 canal

注意：需要确保配置的 MySQL 账户具有 canal_manager 库的插入权限，否则报错：

ERROR com.alibaba.otter.canal.deployer.CanalLauncher - ## Something goes wrong when starting up the canal Server:
com.alibaba.otter.canal.common.CanalException: load manager config failed.
Caused by: com.alibaba.otter.canal.common.CanalException: requestGet for canal config error: Error[INSERT command denied to user ‘canal‘@‘192.168.137.101‘ for table ‘canal_node_server‘]

直接 canal.properties 添加配置的话，默认的 example 实例会失效：

com.alibaba.otter.canal.common.CanalException: instance : example config is not found

需要在 Canal Admin 手动添加实例

三、更进一步

3.1 Canal Admin 设计理念：

canal-admin的核心模型主要有：

1. instance，对应 canal-server 里的 instance，一个最小的订阅 MySQL 的队列
2. server，对应 canal-server，一个 server 里可以包含多个 instance
3. 集群，对应一组 canal-server，组合在一起面向高可用 HA 的运维

instance 因为是最原始的业务订阅诉求，它会和 server/集群 这两个面向资源服务属性的进行关联，比如 instance A 绑定到 server A 上或者集群 A 上

有了任务和资源的绑定关系后，对应的资源服务就会接收到这个任务配置，在对应的资源上动态加载 instance，并提供服务(动态加载的过程，有点类似于之前的 autoScan 机制，只不过基于 canal-admin 之后可就以变为远程的 web 操作，而不需要在机器上运维配置文件)

将 server 抽象成资源之后，原本 canal-server 运行所需要的 canal.properties/instance.properties 配置文件就需要在 web ui 上进行统一运维，每个 server 只需要以最基本的启动配置 (比如知道一下 canal-admin 的 manager 地址，以及访问配置的账号、密码即可)

3.2 面向 user/passwd 的安全 ACL 机制

canal.properties 中的 canal.admin.passwd 对应的是 application.yml 中的 canal.adminPasswd，使用 MySQL 的 password 方法加密(记得去掉第一个首字母的星号)：

select password(‘admin‘)

+-------------------------------------------+
| password(‘admin‘)                         |
+-------------------------------------------+
| *4ACFE3202A5FF5CF467898FC58AAB1D615029441 |
+-------------------------------------------+

canal.admin.user/canal.admin.passwd，这是一个双向认证，canal-server 会以这个密文和 canal-admin做请求，同时canal-admin 也会以密码原文生成加密串后和 canal-server 进行 admin 端口链接，所以这里一定要确保这两个密码内容的一致性

Canal Admin 后台登录密码也是使用 MySQL 的 password 方法加密的，用户名密码存储在 canal_manager 库的 canal_user 表

参考

1. Canal Admin QuickStart
2. Canal Admin安装和使用
3. Canal Admin Guide
4. Canal Admin ServerGuide

?