otter双A同步配置
Posted 濒临小浣熊
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了otter双A同步配置相关的知识，希望对你有一定的参考价值。
otter双A配置
最近做跨国服务器的数据同步，用了阿里的otter开源框架，遇到了不少问题，写一下文档为以后做参考。
第一步：
下载所需的文件 ：otter,zookeeper,aria2
otter下载地址：https://github.com/alibaba/otter
zookeeper下载地址：https://github.com/apache/zookeeper
aria2下载地址：http://sourceforge.net/projects/aria2/files/stable/
zookeeper ：的配置网上有很多
aria2 : 加速文件传输用的 使用方法网上搜，很多
这里主要写对otter的使用
第二步：
进入$otter_home目录
执行：mvn clean install -Dmaven.test.skip -Denv=release
运行完后在 $otter_home 会生成 target 文件 解压文件中的 manager 和 node 文件
文件启动顺序 aria2 > zookeeper > manager > node
服务器环境搭建 ：
一：在 A B 服务器中安装 jdk mysql
安装MySQL
安装完成后配置文件可根据现有的配置文件进行修改：
必须启用binlog而且只支持ROW格式
log-bin=mysql-bin
binlog-format=ROW
为了保证在同步过程中不意外产生数据差异，启用binlog的实时同步到磁盘的操作(此操作会对磁盘IO有开销)，
避免在服务突然中断过程中差生binlog丢失造成服务无法启用：
sync_binlog=1
为提高兼容性最好默认就使用UTF8
character-set-server=utf8
指定固定的数据存储文件夹：
mkdir /data/mysql
datadir=/data/mysql
此数据库集群里面的每台MySQL的server-id必须不同，经过沟通为了保证伺候服务器集群的需求，暂定为8:
server-id=2
auto-increment-increment=8
auto-increment-offset=1
二： 在 A 中配置 ( node ) 在 B 中配置 （ zookeeper manager node）
导入需要的的表：
#mysql -uroot -pabc-123 <otter-manager-schema.sql
#mysql -uroot -pabc-123 <otter-manager-retl.sql
manager安装：
mkdir -p /usr/local/manager
tar xf manager.deployer-4.2.12.tar.gz -C /usr/local/mamager
cd /usr/local/mamager/conf
vim otter.properties
otter.domaniName = 10.0.0.2
otter.port = 8081
otter.database.driver.url = jdbc:mysql://10.0.0.2:3306/otter
otter.database.driver.username = root
otter.database.driver.password = abc-123
otter.zookeeper.cluster.default = 10.0.0.2:2181;10.0.0.2:2182;
启动manager ： /startup.sh
vim otter. properties
otter.manager.address = 10.0.0.2:1099
cd /usr/local/node/bin
=================================到 此 A 服务器搭建完毕。==============================
配置B服务器：
1：安装MySQL
安装完成后配置文件可根据现有的配置文件进行修改：
必须启用binlog而且只支持ROW格式
log-bin=mysql-bin
binlog-format=ROW
为了保证在同步过程中不意外产生数据差异，启用binlog的实时同步到磁盘的操作(此操作会对磁盘IO有开销)，
避免在服务突然中断过程中差生binlog丢失造成服务无法启用：
sync_binlog=1
为提高兼容性最好默认就使用UTF8
character-set-server=utf8
指定固定的数据存储文件夹：
mkdir /data/mysql
datadir=/data/mysql
此数据库集群里面的每台MySQL的server-id必须不同，经过沟通为了保证伺候服务器集群的需求，暂定为8:
server-id=2
auto-increment-increment=8
auto-increment-offset=1
2：安装java
rpm -ivh jdk-8u74-linux-x64.rpm
3：安装aria2
tar xf aria2-1.17.1.tar.gz
mv aria2-1.17 /usr/local/aria2
cd /usr/local/aria2
./configure
make
make install
4：安装zookeeper
mkdir /usr/local/zk
tar xf zookeeper-3.5.1-alpha.tar.gz -C /usr/local/zk
cd /usr/local/zk
mkdir data
cd data
echo “3” >myid
cd ..
cd conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/usr/local/zk/data
server.1 =10.0.0.2:8881:7771
server.2 =10.0.0.2:8882:7772
server.3 =10.0.0.3:8883:7773:observer
:x
5：安装node
vim otter. properties
otter.manager.address = 10.0.0.2:1099
cd /usr/local/node/bin
6：导入需要的表
#mysql -uroot -pabc-123 <otter-manager-retl.sql
otter-manager-retl.sql这个创建表会创建用户，请修改次用户的密码。
配置otter
登录manager 地址为 manager中配置的
账号：admin
密码：admin
登陆后必须修改。
1：添加zookeeper集群
2：添加node
将 A , B 两个 node 的ip地址
此处需要注意，在选择zookeeper集群的时候需要就近选择。
添加之后会生成node的号码，当你启用node的时候会受到报错需要nid，此处的nid就是以当你添加之后manager给node分配的号码为准：
cd /usr/local/node/conf
echo “1”>nid
启动node，所有的node都需要启动
cd /usr/local/node/bin
./startup.sh
都启动后稍后刷新manager node 状态为启动状态
3：添加数据源
4：添加数据表
这地方添加需要同步的数据表：
5：配置cannal
6：配置channel
7:Pipeline管理
配置2个Pipeline
如果要用DDL同步，一个pipeline开启ddl同步，另一个不要开启，且都要开启跳过ddl异常，DryRun模式 不要开启
8:添加映射关系
到此可以点击运行进行。
成功开启后如下图：
监控管理
监控项目：
同步延迟，position超时(位点超过多少时间没有更新) ， 一般业务方关心这些即可
异常 (同步运行过程中出现的异常，比如oracle DBA关心oracle系统ORA-的异常信息，mysql DBA关心mysql数据库相关异常)
process超时(一个批次数据执行超过多少时间)，同步时间超时(数据超过多少时间没有同步成功过)
阀值设置
1800@09:00-18:00 , 这例子是指定了早上9点到下午6点，报警阀值为1800.
发送对象
otterteam为otter团队的标识，阿里内部使用了dragoon系统监控报警通知，如果外部系统可实现自己的报警通知机制
修改发送对象：
注意：
1,安装依赖包yum install -y nc
2,域名的问题，在实际的生产过程中最好绑定域名，如无dns可使用hosts文件，如果不绑定域名manager的很多查看功能会报错
以上是关于otter双A同步配置的主要内容，如果未能解决你的问题，请参考以下文章
mysql数据库同步系统otter部署实践（中国与欧洲同步）