mysql数据库负载均衡高可用之主从主主备份，实时同步
Posted fusheng11711
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mysql数据库负载均衡高可用之主从主主备份，实时同步相关的知识，希望对你有一定的参考价值。
一：MySQL Replication
什么是MySQL Replication
- Replication可以实现将数据从一台数据库服务器（master）复制到一或多台数据库服务器（slave）
- 默认情况下属于异步复制，无需维持长连接
- 通过配置，可以复制所有的库或者几个库，甚至库中的一些表
- 是mysql内建的，本身自带的
Replication的原理
简单的说就是master将数据库的改变写入二进制日志，slave同步这些二进制日志，并根据这些二进制日志进行数据操作
DML:SQL操作语句，update, insert，delete
Relay log :中继日志
Replication的作用
1、Fail Over 故障切换
2、Backup Server 备份服务，无法对SQL语句执行产生的故障恢复，有限的备份
3、High Performance高性能，可以多台slave,实现读写分离
Replication如何工作
整体上来说，复制有3个步骤：
(1) master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；
(2) slave将master的binary log events拷贝到它的中继日志(relay log)；
(3) slave重做中继日志中的事件，修改salve上的数据。
mysql主从复制中：
第一步：master记录二进制日志。在每个事务更新数据完成之前，master在二进制日志记录这些改变。MySQL将事务写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。
第二步：slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经执行完master产生的所有文件，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。
第三步：SQL slave thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重新执行其中的事件而更新slave的数据，使其与master中的数据一致。
Replication常见方案：
1、One master and Muti salve 一主多备
一般用来做读写分离的，master写，其他slave读，这种架构最大问题I/O压力集中
在Master上<多台同步影响IO>
2、M-S-S
使用一台slave作为中继，分担Master的压力，slave中继需要开启bin-log,并配置log-slave-updates
Slave中继可使用Black-hole存储引擎，不会把数据存储到磁盘，只记录二进制日志
3、M-M 双主互备 (互为主从)
很多人误以为这样可以做到MySQL负载均衡，实际没什么好处，每个服务器需要做同样的同步更新，破坏了事物的隔离性和数据的一致性
4、M-M-M
监控三台机器互相做对方的master
天生的缺陷：复制延迟，slave上同步要慢于master,如果大并发的情况那延迟更严重
Mysql在5.6已经自身可以实现fail over故障切换
5、One slave Muti master 一从对多主
好处：节省成本，将多个master数据自动化整合
缺陷：对库和表数据的修改较多
二：部署MySQL主从同步 <M-S>
环境准备：
|
主机名 |
IP |
系统/MySQL版本 |
角色 |
|
harry63 |
10.10.10.63 |
CentOS7.4/5.7.20 |
Master |
|
harry64 |
10.10.10.64 |
CentOS7.4/5.7.20 |
slave |
模式：C/S
端口：3306
配置主数据库服务器HARRY63
创建需要同步的数据库：
mysql> create database HA;
mysql> use HA;
mysql> create table T1(id int,name varchar(20));
service mysqld stop
配置my.cnf:
vim /etc/my.cnf
log-bin=mysql-bin-master #启用二进制日志
server-id=1 #本机数据库ID 标示
binlog-do-db=HA #可以被从服务器复制的库, 二进制需要同步的数据库名
binlog-ignore-db=mysql #不可以被从服务器复制的库
重启mysql ( 如果重启卡死现象，kill掉再启动)
Systemctl restart mysqld
授权：
mysql> grant replication slave on *.* to slave@10.10.10.64 identified by "123456";
查看状态信息：
mysql> show master status;
+-------------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-------------------------+----------+--------------+------------------+
| mysql-bin-master.000001 | 259 | HA | mysql |
+-------------------------+----------+--------------+------------------+
查看二进制日志：
ls /usr/local/mysql/data/
mysql> show binlog events\G
复制前要保证同步的数据库一致
mysqldump -uroot -p123456 HA >HA.sql #可以导出数据库
将导出的数据库传给从服务器
方法：scp HA.sql 10.10.10.64:/root
配置从数据库服务器HARRY64
两台数据库服务器mysql版本要一致
mysql> show variables like ‘%version%‘;
测试连接到主服务器是否成功
mysql -uslave -p123456 -h 10.10.10.63
只有复制的权限, 是看不到其他库的。正常
导入数据库，和主数据库服务器保持一致
mysql> create database HA;
mysql -uroot -p123456 HA<HA.sql
修改从服务器配置文件：
从服务器没必要开启bin-log日志
service mysqld stop
vim /etc/my.cnf
|
master-host=192.168.1.63 #指定主服务器IP地址 master-user=slave #指定定在主服务器上可以进行同步的用户名 master-password=123456 #密码 #master-port=3306 master-connect-retry=60 #断点重新连接时间
|
server-id = 2 #从服务器ID号，不要和主ID相同 ，如果设置多个从服务器，每个从服务器必须有一个唯一的server-id值，必须与主服务器的以及其它从服务器的不相同。可以认为server-id值类似于IP地址：这些ID值能唯一识别复制服务器群集中的每个服务器实例。
文本框是mysql 5.1的配置
mysql>stop slave; #停止slave
mysql> change master to master_host=‘10.10.10.63‘,master_user=‘slave‘,master_password=‘123456‘;
mysql> start slave; #启动slave
mysql> show slave status\G 查看状态
Slave_IO_Running ：一个负责与主机的io通信
Slave_SQL_Running：负责自己的slave mysql进程
两个为YES 就成功了！
再到主服务器上查看状态：
mysql> show processlist \G
插入数据测试同步：
mysql> insert into T1 values (1,‘man‘);
从数据库上查看：
排错：
如果遇到主从不同步，看一下主从bin-log的位置，然后再同步。
在主服务器上看二进制日志事件列表
mysql> show binlog events \G
从服务器执行MySQL命令下：
mysql> stop slave； #先停止slave服务
mysql> change master to master_log_file=‘mysql-bin-master.000001‘,master_log_pos=1164;
#根据上面主服务器的show master status的结果，进行从服务器的二进制数据库记录回归，达到同步的效果
mysql>slave start; #启动从服务器同步服务
mysql> show slave status\G; #用show slave status\G;看一下从服务器的同步情况
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
如果都是yes，那代表已经在同步
重启从服务器，再查看状态：
停止从服务器slave stop;
开启从服务器slave start;
排错思路：
1、二进制日志没有开启
2、IPTABLES 没有放开端口
3、对应的主机 IP地址写错了
SQL线程出错
1、主从服务器数据库结构不统一
出错后，数据少，可以手动解决创建插入，再更新slave状态。
注：如果主上误删除了。那么从上也就误删除了。 #因此主上要定期做mysqldump备份。
三：部署MySQL主主双向主从复制 M-M
通过mysql主主：进行mysql 双向同步数据库HA的配置
mysql主：服务端：HARRY63 IP：10.10.10.63
mysql主：服务端：HARRY64 IP：10.10.10.64
要先清空一下二进制日志，mysql> reset master
在上面主从的基础上进行配置
配置HARRY63
它有两种身份：
身份1： HARRY64的主。 身份2： HARRY64的从。
vim /etc/my.cnf
server-id = 1
log-bin=mysql-bin-master
binlog-do-db=HA
binlog-ignore-db=mysql #避免同步mysql用户 相关配置
service mysqld restart
授权：
mysql> grant replication slave on *.* to slave@‘10.10.10.%‘ identified by ‘123456‘;
如果不符合密码要求修改如下（5.7版本）
mysql> set global validate_password_policy=0; #定义复杂度
mysql> set global validate_password_length=1; #定义长度 默认是8
关闭密码强度审计，在my.cnf添加validate-password=off
grant replication slave on *.* to slave@‘10.10.10.%‘ identified by ‘123456‘;
mysql> flush privileges; #记得刷新授权表
配置HARRY64
|
5.1的配置 master-host=192.168.1.64 #指定主服务器IP地址 master-user=slave64 #指定定在主服务器上可以进行同步的用户名 master-password=123456 #密码 #master-port=3306 可以不写 replicate-do-db=HA #要复制的数据库 master-connect-retry=60 #断点重新连接时间 |
vim /etc/my.cnf
server-id = 2
log-bin=mysql-bin-slave
binlog-do-db=HA
binlog-ignore-db=mysql
先测试一下从帐号登陆是否正常？
[root@harry64 ~]# mysql -uslave -p123456 -h 10.10.10.63
然后作主授权给从harry63,
[root@harry64 ~]# grant replication slave on *.* to slave@‘10.10.10.63‘ identified by ‘123456‘;
指定哪台是harry64的master
[root@HARRY64 ~]# mysql -uroot -p123456
mysql> stop slave;
mysql> change master to master_host=‘10.10.10.63‘ master_user=‘slave‘,master_password=‘123456‘;
mysql> start slave;
mysql> show slave status\G
再回来配置HARRY63
先测试一下从帐号登陆是否正常？
[root@harry63~]# mysql -uslave -p123456 -h 10.10.10.64 #可以登陆
指定哪台是harry63的master
[root@HARRY63 ~]# mysql -uroot -p123456
mysql> change master to master_host=‘10.10.10.64‘,master_user=‘slave‘,master_password=‘123456‘;
mysql> start slave;
mysql> show slave status\G
检查：
HARRY63上查看slave状态
HARRY64上查看slave状态
插入数据测试：
在HARRY63上插入数据，HARRY64上查看
mysql> insert into T1 values(2,‘天清‘);
在HARRY64上插入数据，HARRY63上查看
mysql> insert into T1 values(3,‘黑客‘);
注意：这种M-M架构没有什么好处，他往往给我们产生一种实现了负载均衡的错觉
六：部署M-S-S模型
环境：
HARRY68 master mysql5.7.20 10.10.10.68
HARRY69 slave中继 mysql5. 7.20 10.10.10.69
HARRY70 slave mysql5. 7.20 10.10.10.70
部署master---->HARRY68:
在主服务上授权用户：
mysql> grant replication slave on *.* to repl@‘10.10.10.%‘ identified by ‘123456‘;
mysql> flush privileges;
[root@harry68 ~]# vim /etc/my.cnf #修改配置 增加以下选项
server-id=1
binlog-do-db=HA
log-bin=mysql-bin-master
binlog-ignore-db=mysql
sync-binlog=1
binlog-format=row
重启服务
[root@harry68 ~]# systemctl restart mysqld
导出主服务器HA库完整备份， 拷贝到 中继服务器 和slave服务器
[root@harry68 ~]# mysqldump -uroot -p123456 -B HA>ha.sql
[root@harry68 ~]# scp ha.sql 10.10.10.69:/root
[root@harry68 ~]# scp ha.sql 10.10.10.70:/root
部署slave中继------> HARRY69
导入数据库ha.sql
[root@harry69 ~]# mysql –uroot –p123456 <ha.sql
配置my.cnf
[root@harry69 ~]#vim /etc/my.cnf
server-id= 2
#修改主配置文件也要开启bin-log：
log-bin=mysql-bin-slave1
log-slave-updates=1 #把它从relay-log当中读取出来的二进制日志并且这本机上执行的操作也记录这自己的二进制日志里面，这样才能使第三台slave通过中继slave读取到相应数据变化
binlog-format=row
[root@harry69 ~]# systemctl restart mysqld
授权：
mysql> stop slave;
mysql> change master to master_host=‘10.10.10.68‘,master_user=‘repl‘,master_password=‘123456‘;
mysql> start slave;
查看中继服务的状态
mysql> show slave status \G
再授权一个用户给slave(harry70):
mysql> grant replication slave on *.* to ‘repl‘@‘10.10.10.70‘ identified by ‘123456‘;
mysql> flush privileges;
部署slave------>harry70
导入数据库ha.sql
[root@harry70 ~]# mysql –uroot –p123456 <ha.sql
配置my.cnf
server-id = 3
log-bin=mysql-bini-slave2
binlog-format=row
[root@harry70 ~]# systemctl restart mysqld 重启
指定slave中继服务作为harry70的主：
mysql> stop slave;
mysql> change master to master_host=‘10.10.10.69‘,master_user=‘repl‘,master_password=‘123456‘;
mysql> start slave;
查看从服务的状态
mysql> show slave status \G
从master上插入数据测试：
mysql> insert into test values (1,‘AA‘);
Query OK, 1 row affected (0.09 sec)
然后分别在slave中继，与slave上查看
为什么中继服务器也查到数据呢？ 因为是存储引擎的问题。
修改表的引擎：
mysql> alter table t1 ENGINE=blackhole; (先关闭日志记录再修改set sql_log_bin=off)
你再测试！
排错：
错误1：
此方法可能失效，自行验证
mysql> show slave status\G
由结果可以看到：
Read_Master_Log_Pos: 288
Exec_Master_Log_Pos: 107
Last_SQL_Errno: 1146
Last_SQL_Error: Error executing row event: ‘Table ‘HA.student‘ doesn‘t exist‘
因为只对HA记录了binlog,当在mydb库操作其它数据库的表，但该表在slave上又不存在时就出错了。
到master上查看事件记录
mysql> show binlog events in ‘mysql-bin-master.000002‘ from 107\G
由上面的结果可知，我们需要跳过两个事务173，288
然后到salve中继操作：
mysql> slave stop;
mysql> SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 2; 跳过一个事务
mysql> slave start;
这个搞定
或者：
它提供了一个session粒度的选项，通过关闭这个选项可以不让主库将打开这个选项或关闭连接前的SQL语句写入binlog。
set sql_log_bin=off;
mysql>alter table aaa add column xxx int default 1 after yyy;
模拟故障：
由于历史遗留问题，MySQL主从库的表结构不一致，主库的某个表tableA比从库表tableA少了一个字段
当尝试在主库上更改表结构时，这行alter语句会随着binlog同步到从库，如果从库执行这行语句时出错，主从同步线程就会自动停止，那样只能人为手动处理错误，然后再启动slave上的主从同步线程。场景大概是下面这个样子：
先在从库添加这个字段：
mysql> alter table student add age int default 0 after name;
再在主库添加这个字段：
mysql> alter table student add age int default 0 after name;修改主库上的表结构，添加一个字段
从库会同步主库的，但是从库已经存在了这个字段
查看slave状态
解决方法1：
跳过错误的事物
从库上执行：
mysql> stop slave;
set global sql_slave_skip_counter=1;
mysql> start slave;
很多slave数据库的时候这样改太麻烦了
解决方法2:
slave比较少的时候还可以，但是当从库有几十台时，逐台去处理既费时又容易出错，怎样在主库这一侧一劳永逸地避免呢？
那很简单，我们不要让主库将alter语句记录到binlog中就行
我们直接这主库中关闭binlog记录
mysql> set sql_log_bin=off;
然后我们再执行alter语句
mysql> alter table student add age int default 0 after name;
再开启bin-log
mysql> set sql_log_bin=on;
错误2：
这种要求对齐binlog
先到作为它的主上查看binlog
Slave上不对应
Slave上操作：
mysql> stop slave;
mysql> change master to master_host=‘10.10.10.65‘,master_user=‘repl‘,master_password=‘123456‘,master_log_file=‘mysql-bin-slave1.000002‘,master_log_pos=415;
mysql> start slave;
Ok,恢复正常
以上是关于mysql数据库负载均衡高可用之主从主主备份，实时同步的主要内容，如果未能解决你的问题，请参考以下文章