[实操笔记]MySQL主从同步功能实现

Posted 2020-10-22 Hellxz博客

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[实操笔记]MySQL主从同步功能实现相关的知识，希望对你有一定的参考价值。

写在前边：

这两天来了个需求，配置部署两台服务器的mysql数据同步，折腾了两天查了很多相关资料，一直连不上，后来发现其实是数据库授权的ip有问题，我们用的服务器是机房中的虚拟机加上反向代理出来的，坑的不行。看了好多博客，写的怎么说呢，写的好的是太好了太详细了；写的不好的，配置什么的都讲的不清楚，刚接触这块的时候不晓得原理，一味的复制粘贴，后来看到有个博主写的好文，瞬间醍醐灌顶，也有了自己的思路，我就简单的记录下操作步骤和一些细节的注释，原理就直接搬运了，原理图也画了份，就不献丑了，有写错的地方，还望各位大佬不吝赐教，在下感激不尽！

配置MySQL的主从同步有什么好处？

　1--数据分布 (Data distribution )
2--负载平衡(load balancing)
3--数据备份(Backups) ，保证数据安全（最主要的作用）
4--高可用性和容错行(High availability and failover)
5--实现读写分离，缓解数据库压力

MySQL主从同步实现原理（参考博文点这里）：

master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中；salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件，同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致，最后I/OThread和SQLThread将进入睡眠状态，等待下一次被唤醒。
注意几点：
1--master将操作语句记录到binlog日志中，然后授予slave远程连接的权限（master一定要开启binlog二进制日志功能；通常为了数据安全考虑，slave也开启binlog功能）。
2--slave开启两个线程：IO线程和SQL线程。其中：IO线程负责读取master的binlog内容到中继日志relay log里；SQL线程负责从relay log日志里读出binlog内容，并更新到slave的数据库里，这样就能保证slave数据和master数据保持一致了。
3--Mysql复制至少需要两个Mysql的服务，当然Mysql服务可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。
4--Mysql复制最好确保master和slave服务器上的Mysql版本相同（如果不能满足版本一致，那么要保证master主节点的版本低于slave从节点的版本）
5--master和slave两节点间时间需同步

Mysql复制的流程图如下：

MySQL是怎样同步的？

　1--基于语句的复制：在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。一旦发现没法精确复制时，会自动选着基于行的复制。
2--基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持
3--混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

实现环境：

| System　　 | mysql 　　　 | ip　　　　　|

|:----　　　　 |:----　　　　 |:----

|win7 　　　 | mysql-5.6.24 | 192.168.1.129 |

|centos 6.7　 | mysql-5.6.39 | 192.168.1.128 |

注：从服务器的mysql版本最好和主服务器相同，或者大于主服务器版本

MySQL主从同步的实现部分：

首先是Master(主节点)的配置：

#主Master服务器配置：

1.进入mysql的安装目录，新建一个log文件夹（这个是存储binary log的路径）

2.主服务器开启log_bin，需修改my.ini，配置如下：

#*********************master my.ini配置文件开始*****************************************
#路径均为当前服务器的实际路径
basedir = D:\\\\apps\\\\mysql-5.6.24-win32
datadir = D:\\\\apps\\\\mysql-5.6.24-win32\\\\data
port = 3306

#生成记录文件位置，同步必须，请勿手动删除,格式位置为 ：log-bin=mysql安装路径/log/mysql-bin.log
log-bin=D:\\\\apps\\\\mysql-5.6.24-win32\\\\log\\\\mysql-bin.log
#服务ID，用于区分服务，范围1~2^32-1,需要与从服务器不同
server_id= 1
#MySQL 磁盘写入策略以及数据安全性
#每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去
innodb_flush_log_at_trx_commit=1

#当sync_binlog =N (N>0) ，MySQL 在每写 N次 二进制日志binary log时，会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
sync_binlog 的默认值是0，像操作系统刷其他文件的机制一样，MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
sync_binlog= 1
#同步数据库，如果多库，就以此格式另写几行即可
binlog-do-db=test
#无需同步的数据库，以下几行基本一样，无需改动
binlog-ignore-db = cluster
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = information_schema

#mysql复制模式，三种：SBR（基于sql语句复制），RBR（基于行的复制），MBR（混合模式复制）
#混合模式复制
binlog_format=MIXED
#binlog过期清理时间
expire_logs_days=7
#binlog每个日志文件大小
max_binlog_size=20M
#*********************master my.ini配置文件结束*****************************************

3.重启mysql服务，mysql命令行执行：

show master status;#记录文件名以及紧跟的当前行数数字

4.创建并授权用户，后两个slave分别是用户名和密码

grant replication slave ,replication client on *.* to slave@\'192.168.1.128\' identified by "slave";
flush privileges; #权限修改立即生效
flush tables with read lock; #锁定数据库为只读，确保备份数据一致性

5.退出mysql命令行，执行备份命令

#备份当前所有数据库，可以参考备份单库
mysqldump -u root -p --all-databases --master-data > dbdump.sql

6.将sql脚本在从服务器执行
7.从服务器启动slave（前提是配置好从服务器）
8.从服务器启动完毕后关闭表锁

unlock tables;

#从服务器的配置

1.停掉slave服务

service mysqld stop

2.修改配置文件：

vim /etc/my.cnf

#从数据库（Slave）配置：
#***********************************slave my.cnf配置开始******************************
#从库日志记录文件位置或名称前缀
log_bin = /var/lib/mysql/mylogbin.log
#同步日志记录的频率，1为每条都记录，安全但效率低
sync_binlog = 1
#server的id，不能与相同id的mysql主从连接
server-id=2
#从库日志忽略的数据库名称，不记录
#这里记录从库的binlog是为了安全，如果觉得没必要，可以去掉从库binlog的配置
binlog-ignore-db = cluster
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = information_schema
#此处添加需要同步的数据库名称，那么它会只接收这个数据库的信息，多个数据库需同步按照此格式另写几行即可
#这里同步数据有两种思路，一种是主服务器只发从库需要的，在主库指定；一种是主服务器把所有数据同步过来，从库按需过滤接收
#为了让配置更详细些，此处配置了从库过滤接收的配置
replicate-do-db=test
#忽略接收的库名
replicate-ignore-db = cluster
replicate-ignore-db = mysql
replicate-ignore-db = performance_schema
replicate-ignore-db = information_schema
#跳过所有错误继续
slave-skip-errors=all
#设置延时时间
slave-net-timeout=60

#mysql复制模式，三种：SBR（基于sql语句复制），RBR（基于行的复制），MBR（混合模式复制）
binlog_format=MIXED #混合模式复制
expire_logs_days=7 #binlog过期清理时间
max_binlog_size=20M #binlog每个日志文件大小
#***********************************slave my.cnf配置结束******************************

3.保存退出:wq

4.启动mysqld服务

service mysqld start

5.删除多余数据库，导入数据，删除部分不予演示,sql的位置请自行指定

mysqldump -u root -p < ~/dbdump.sql #这里演示就是上传到了root的根目录，具体请使用“find / -name sql脚本名” 命令查询

6.从服务器指定master

CHANGE MASTER TO
MASTER_HOST=\'192.168.1.129\',
MASTER_USER=\'slave\',
MASTER_PASSWORD=\'slave\',
MASTER_LOG_FILE=\'mysql-bin.000001\',
MASTER_LOG_POS=593;

注：最后两行是之前在主服务器show master status 所记录的数据

　　如果之前已经启动了一个slave进程，那么以上的命令会失效，并提示stop slave first，所以先stop slave; 然后重试

7.启动slave

start slave;
show slave status\\G #注意，没有分号

输出如下，显示两个都为yes即成功，可以测试一下

mysql> show slave status;

*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.129
                  Master_User: replication
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 593
               Relay_Log_File: mysql-relay-log.000004
                Relay_Log_Pos: 441
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 52360
              Relay_Log_Space: 597
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1
"""