使用GTID给Galera集群做数据库异步复制

Posted 2020-12-04 leoly

一、为什么要做Galera集群异步复制

Galera集群解决了数据库高可用的问题，但是存在局限性，例如耗时的事务处理可能会导致集群性能急剧下降，甚至出现阻塞现象。而不幸的是，类似报表等业务需求就需要做数据大批量的数据查询操作，为了不影响Galera的集群效率，需要做数据异步复制，产生一个从库来适配耗时的数据操作需求。

由于Galera集群的特殊性，我们不能使用一般的主从复制来实现数据异步复制的要求。集群中每台mariadb都会单独的记录binlog，使得一般的主从配置只能获取到单台数据的变更事件，集群中的其它mariadb上如果有数据变更，无法同步到从库中。

根据GTID进行主从复制解决了这个问题，每个事务都存在唯一的ID，根据事务ID来同步不会受到数据库的限制，因为集群中的所有数据库节点使用的都是唯一的GTID。

二、安装xtrabackup

1、YUM安装，下载percona源：

yum install http://www.percona.com/downloads/percona-release/redhat/0.1-6/percona-release-0.1-6.noarch.rpm

 

2、开始安装

yum install percona-xtrabackup-24

 

三、备份数据

1、在主库上全量备份数据：

innobackupex --user=dbuser --passwor=‘dbpassword‘ /dir_for_backup

注意password参数，如果密码中有关键字符，需要使用单引号把密码引起来，否则无法登录mysql，无法备份数据。

 

2、在主库上进行全量备份后，需要应用事务到备份文件中才能使备份文件完整可用

Innobackupex --user=dbuser --password=’dbpassword’--apply-log /dir_for_backup /2018-07-12_10-39-56/

 

3、在主库上把备份好的数据文件传输到从库中

scp -r /DIR_FOR_BACKUP /2018-07-12_10-39-56/ [email protected]_server_ip:/slave_server_data_dir

 

四、从库启动

1、 在从库上修改数据文件名称，拥有者

mv /slave_server_data_dir/2018-07-12_10-39-56/ /slave_server_data_dir/mysqldata

chown -R mysql:mysql /slave_server_data_dir/mysqldata/

 

2、 在从库上启动数据库

配置好my.conf文件，指定datadir目录到/slave_server_data_dir/mysqldata，然后启动数据库。

 

五、主从配置

1、 Galera集群中的所有节点都需要做以下配置：

[mysqld]

master-info-repository=TABLE

relay-log-info-repository=TABLE

log_slave_updates = 1

sync-master-info=1

slave-parallel-threads=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

 

log-bin=mysql-bin

binlog_format=row

log_slave_updates = 1

server-id=4567

 

配置完成后重启服务器。

进入主库（Galera集群中的任一节点），授权主从复制用户：

GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO ‘slaveUser‘@‘10.30.254.9‘ IDENTIFIED BY ‘slaveUser‘;

 

2、 从库配置

[mysqld]

master-info-repository=TABLE

relay-log-info-repository=TABLE

log_slave_updates = 1

sync-master-info=1

slave-parallel-threads=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

 

#这是与主库配置不同的地方

relay_log = relay-bin

server_id=7890

 

log_bin=binlog

log_slave_updates=1

binlog_format=ROW

 

配置完成后重启从库数据库。

 

3、 设置从库GTID复制点信息

l  查看xtrabackup备份数据中的GTID信息

cat /slave_server_data_dir/mysqldata xtrabackup_info

uuid = ffa57fe6-8676-11e8-8b3a-00163e08d213

name =

tool_name = innobackupex

tool_command = --user=root --password=... /mnt

tool_version = 2.4.11

ibbackup_version = 2.4.11

server_version = 10.2.6-MariaDB-log

start_time = 2018-07-13 16:26:09

end_time = 2018-07-13 16:30:28

lock_time = 0

binlog_pos = filename ‘mysql-bin.000019‘, position ‘82930255‘, GTID of the last change ‘0-4567-3446‘

innodb_from_lsn = 0

innodb_to_lsn = 42353602070

partial = N

incremental = N

format = file

compact = N

compressed = N

encrypted = N

 

l  配置GTID主从复制

停止主从复制：STOP SLAVE;

重置主从配置：RESET SLAVE ALL;

设置GTID点：SET GLOBAL gtid_slave_pos=‘0-4567-3446‘;

配置主从配置：

CHANGE MASTER TO MASTER_HOST=‘10.30.253.222‘, MASTER_PORT=3306, MASTER_USER=‘slaveUser‘, MASTER_PASSWORD=‘slaveUser‘, master_use_gtid=slave_pos;

查看主从配置状态：SHOW SLAVE STATUS;

 

六、GTID同步出错时，如何恢复主从复制

异常信息：

Last_SQL_Error: Error ‘Duplicate entry ‘4‘ for key ‘PRIMARY‘‘ on query. Default database: ‘test‘. Query: ‘insert into t VALUES(NULL,‘salazar‘)‘

Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-4

 

因为是GTID复制，所以set global sql_slave_skip_counter=N在这里是没有作用的，但是可以通过插入一个空的事务来解决问题：

STOP SLAVE;

SET GTID_NEXT="7d72f9b4-8577-11e2-a3d7-080027635ef5:5";

BEGIN; COMMIT;

SET GTID_NEXT="AUTOMATIC";

START SLAVE;

[...]

Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5