MySQL主从复制 + Mycat实现读写分离

Posted 2020-10-11 盈月

版权所有, 转载请注明出处 http://www.cnblogs.com/YingYue/p/7677814.html 

说明：两台mysql服务器都是使用CentOS6.5系统，MySQL版本为mysql-5.7.17

MySQL一主一被实现主从复制

注意：写包括insert，delete，update 操作；读只有select其他操作由主master的二进制文件决定。

一．在192.168.42.128上安装MySQL（主库）

开启账号root的远程登录权限，过程：略

配置主服务器的my.cnf 文件 并重启（开启二进制文件等）

 

##------------------------------------------周建旭2017年3月6日 12:40:10添加------------------------------------#

# # server-id 唯一的服务辨识号,数值位于 1 到 2^32-1之间.
# # 此值在master和slave上都需要设置.
# # 如果 “master-host” 没有被设置,则默认为1, 但是如果忽略此选项,MySQL不会作为master生效.
server-id = 1 #[必须]服务器唯一ID，默认是1

##------------------------------------------master上的配置开始------------------------------------------------##
#                                                                                                              #
# # log-bin 打开二进制日志功能.                                                                                #
# # 在复制(replication)配置中,作为MASTER主服务器必须打开此项                                                   #
# # 如果你需要从你最后的备份中做基于时间点的恢复,你也同样需要二进制日志.                                       #
log-bin = mysql-bin #[必须]启用二进制日志                                                                      #
# # 需要开启生成二进制日志记录相关配置，配置在需要被复制的服务器上，即：master                                 #
binlog-do-db = test_db #指定对名称为test_db的数据库记录二进制日志                                              # 
binlog-ignore-db = mysql #指定不对名称为mysql的数据库记录二进制日志                                            #
binlog-ignore-db = information_schema #指定不对名称为information_schema的数据库记录二进制日志                  #
binlog_format = mixed #binlog日志格式，mysql默认采用，如果从服务器slave有别的slave要复制那么该slave也需要这一项#
expire_logs_days = 7 #超过7天的binlog删除###                                                                   #
#                                                                                                              #
##-------------------------------------------master上的配置开始-----------------------------------------------##

##-------------------------------------------slave上的配置开始------------------------------------------------##
#                                                                                                              #
# # replicate-do-db 需要做复制的数据库,如果复制多个数据库，重复设置这选项即可master上不需要此项，slave上需要   #
#replicate-do-db = test_db #复制名称为test_db的数据库                                                          #
# # replicate-ignore-db 不需要复制的数据库，如果要忽略复制多个数据库，重复设置这个选项即可                     #
#replicate-ignore-db = mysql #不需要（忽略）复制名称为mysql的数据库                                            #
#replicate-ignore-db = information_schema #不需要（忽略）复制名称为information_schema的数据库                  #
#                                                                                                              #
# 如果你在使用链式从服务器结构的复制模式 (A->B->C),                                                            #
# # 你需要在服务器B上打开此项.                                                                                 #
# # 此选项打开在从线程上重做过的更新的日志,                                                                    #
# # 并将其写入从服务器的二进制日志.                                                                            #
# # 默认值为OFF;设置log_slave_updates = 1即表示开启                                                            #   
#log_slave_updates = 1                                                                                         #
#                                                                                                              #
##------------------------------------------slave上的配置结束-------------------------------------------------##

skip-external-locking #MySQL选项以避免外部锁定。该选项默认开启
default-storage-engine = InnoDB #默认存储引擎
lower_case_table_names = 1 #忽略表大小写

##------------------------------------------周建旭2017年3月6日 12:40:10添加------------------------------------#

 

截图

注意：

binlog-do-db = 需要复制的数据库名，如果复制多个数据库，重复设置这个选项即可
binlog-ignore-db = 不需要复制的数据库库名，如果复制多个数据库，重复设置这个选项即可

 

二．在192.168.42.129 上安装MySQL（备库）

创建用户yingyue 授权可以远程登录和本地登录，拥有该实例所有数据库的权限。过程：略

 

配置slave服务器的my.cnf 文件 并重启（配置slave对master的二进制文件复制）

 

 

##------------------------------------------周建旭2017年3月6日 12:40:10添加------------------------------------#

# # server-id 唯一的服务辨识号,数值位于 1 到 2^32-1之间.
# # 此值在master和slave上都需要设置.
# # 如果 “master-host” 没有被设置,则默认为1, 但是如果忽略此选项,MySQL不会作为master生效.
server-id = 2 #[必须]服务器唯一ID，默认是1

##------------------------------------------master上的配置开始------------------------------------------------##
#                                                                                                              #
# # log-bin 打开二进制日志功能.                                                                                #
# # 在复制(replication)配置中,作为MASTER主服务器必须打开此项                                                   #
# # 如果你需要从你最后的备份中做基于时间点的恢复,你也同样需要二进制日志.                                       #
#log-bin = mysql-bin #[必须]启用二进制日志                                                                     #
# # 需要开启生成二进制日志记录相关配置，配置在需要被复制的服务器上，即：master                                 #
#binlog-do-db = test_db #指定对名称为test_db的数据库记录二进制日志                                             # 
#binlog-ignore-db = mysql #指定不对名称为mysql的数据库记录二进制日志                                           #
#binlog-ignore-db = information_schema #指定不对名称为information_schema的数据库记录二进制日志                 #
#binlog_format = mixed #binlog日志格式，mysql默认采用，如果从服务器slave有别的slave要复制那么该slave也需要该项 #
#expire_logs_days = 7 #超过7天的binlog删除###                                                                  #
#                                                                                                              #
##-------------------------------------------master上的配置开始-----------------------------------------------##

##-------------------------------------------slave上的配置开始------------------------------------------------##
#                                                                                                              #
# # replicate-do-db 需要做复制的数据库,如果复制多个数据库，重复设置这选项即可master上不需要此项，slave上需要   #
replicate-do-db = test_db #复制名称为test_db的数据库                                                           #
# # replicate-ignore-db 不需要复制的数据库，如果要忽略复制多个数据库，重复设置这个选项即可                     #
replicate-ignore-db = mysql #不需要（忽略）复制名称为mysql的数据库                                             #
replicate-ignore-db = information_schema #不需要（忽略）复制名称为information_schema的数据库                   #
#                                                                                                              #
# 如果你在使用链式从服务器结构的复制模式 (A->B->C),                                                            #
# # 你需要在服务器B上打开此项.                                                                                 #
# # 此选项打开在从线程上重做过的更新的日志,                                                                    #
# # 并将其写入从服务器的二进制日志.                                                                            #
# # 默认值为OFF;设置log_slave_updates = 1即表示开启                                                            #   
#log_slave_updates = 1                                                                                         #
#                                                                                                              #
##------------------------------------------slave上的配置结束-------------------------------------------------##

skip-external-locking #MySQL选项以避免外部锁定。该选项默认开启
default-storage-engine = InnoDB #默认存储引擎
lower_case_table_names = 1 #忽略表大小写

###------------------------------------------周建旭2017年3月6日 12:40:10添加------------------------------------#

 

截图

注意：

replicate-do-db = 需要复制的数据库名，如果复制多个数据库，重复设置这个选项即可
replicate-ignore-db = 不需要复制的数据库名，如果复制多个数据库，重复设置这个选项即可

 

三．连接（我使用的是sqlyog）192.168.42.128服务器上的MySQL（主）

show master status; /*!查看主master的状态，如果没有数据，需要在my.cnf 中配置*/

 

注意：show master status; 只有在my.cnf中配置了log-bin开启生成数据库二进制记录才会显示数据

grant replication slave on *.* to \'yingyue\'@\'%\'; /*!给ip地址为所有（%表示任何ip）MySQL服务器上的 盈月 授权对该master的复制权限*/

flush privileges; /*!刷新权限*/

 

四．连接 （我使用的是sqlyog）192.168.42.129 服务器上的MySQL（从）

show slave status; /*!查看该slave的状态，只有该slave执行命令start slave; 后才有显示记录*/

停止从服务器

stop slave;

重置从服务器

reset slave;

从服务器关联到主服务器

change master to master_user=\'root\', master_password=\'a19911008\', master_host=\'192.168.42.128\',master_port=3306, master_log_file=\'mysql-bin.000002\',master_log_pos=519;

注意：上面的关联配置的信息都是主服务器上的，但是要在slave从服务器上配置，如果master_log_file和master_log_pos不知道可以在master服务器（192。168.42.128）上使用show master status;查看

执行成功！

开启从服务器start slave;

查看从服务器连接状态show slave status\\G /*!不加分号*/

 

Sqlyog不支持\\解析不了sql可以使用命令行来查看

使用账号：yingyue 进行远程登录到192.168.42.129 上

全部信息如下：

 

Microsoft Windows [版本 6.1.7601]

版权所有 (c) 2009 Microsoft Corporation。保留所有权利。

 

C:\\Users\\Administrator>mysql -h192.168.42.129 -uyingyue -p000000

Welcome to the MySQL monitor.  Commands end with ; or \\g.

Your MySQL connection id is 20

Server version: 5.7.17-log Source distribution

 

Type \'help;\' or \'\\h\' for help. Type \'\\c\' to clear the buffer.

 

mysql> show slave status\\G

*************************** 1. row ***************************

               Slave_IO_State: Waiting for master to send event

                  Master_Host: 192.168.42.128

                  Master_User: root

                  Master_Port: 3306

                Connect_Retry: 60

              Master_Log_File: mysql-bin.000002

          Read_Master_Log_Pos: 519

               Relay_Log_File: localhost-relay-bin.000002

                Relay_Log_Pos: 320

        Relay_Master_Log_File: mysql-bin.000002

             Slave_IO_Running: Yes

            Slave_SQL_Running: Yes

              Replicate_Do_DB: test_db

          Replicate_Ignore_DB:

           Replicate_Do_Table:

       Replicate_Ignore_Table:

      Replicate_Wild_Do_Table:

  Replicate_Wild_Ignore_Table:

                   Last_Errno: 0

                   Last_Error:

                 Skip_Counter: 0

          Exec_Master_Log_Pos: 519

              Relay_Log_Space: 531

              Until_Condition: None

               Until_Log_File:

                Until_Log_Pos: 0

           Master_SSL_Allowed: No

           Master_SSL_CA_File:

           Master_SSL_CA_Path:

              Master_SSL_Cert:

            Master_SSL_Cipher:

               Master_SSL_Key:

        Seconds_Behind_Master: 0

Master_SSL_Verify_Server_Cert: No

                Last_IO_Errno: 0

                Last_IO_Error:

               Last_SQL_Errno: 0

               Last_SQL_Error:

  Replicate_Ignore_Server_Ids:

             Master_Server_Id: 1

                  Master_UUID: a70b33cb-ff4a-11e6-9fdc-000c29589bdd

             Master_Info_File: /usr/local/mysql-5.7.17/data/master.info

                    SQL_Delay: 0

          SQL_Remaining_Delay: NULL

      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates

           Master_Retry_Count: 86400

                  Master_Bind:

      Last_IO_Error_Timestamp:

     Last_SQL_Error_Timestamp:

               Master_SSL_Crl:

           Master_SSL_Crlpath:

           Retrieved_Gtid_Set:

            Executed_Gtid_Set:

                Auto_Position: 0

         Replicate_Rewrite_DB:

                 Channel_Name:

           Master_TLS_Version:
row in set (0.00 sec)


mysql>

 

是否成功就看

Slave_IO_Running:　Yes　

Slave_SQL_Running:　Yes

是否都为Yes

如果有出现以上结果，则配置成功！

 

Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates

表示：从服务器已经读到了所有的主服务器库的二进制日志，随时待命复制；

 

下面来测试一下主从复制

测试描述：

DDL语句测试

在服务器192.168.42.128 的 test_db库中新建 country表，看看从服务器192.168.42.129的test_db中是否会自动同步复制country表，如果可以，则表明主从复制成功；

执行 create table country(id int not null primary key auto_increment, name varchar(100));

看看从服务器192.168.42.129 上从库test_db是否会自动同步country表

 

没问题

下面来删除主192.68.42.128上主库test_db的country表

看看192.168.42.129 上的从库的情况

也是可以的，没问题，现在再重新创建表country 下面测试需要使用（在主库中创建）

DML语句测试（包括insert， delete，update）

在192.168.42.128的主库test_db上执行insert into country values(1, \'南非\'),(2,\'瑞典\'),(3,\'哥斯达黎加\'),(4,\'新西兰\'),(5,\'中国\'),(6,\'希腊\') ,(7,\'意大利\'),(8,\'苏格兰\') ,(9,\'冰岛\') ,(10,\'委内瑞拉\') ,(11,\'比利时\');

查看192.168.42.129的test_db从库的country表是否多了11条记录

没问题。

在192.168.42.128的主库test_db上执行update country set name=\'中华人民共和国\' where id = 5;

查看192.168.42.129的test_db从库的country表

没问题。

在192.168.42.128的主库test_db上执行 delete from country where id = 11;

查看192.168.42.129的test_db从库的country表，最后一个 ‘比利时’应该没了

没问题。

 

读写分离（主库写， 从库读）

读写分离使用的中间件为mycat

安装mycat 过程略

官方参考文档：

 

配置mycat环境变量 略：

注意防火墙开启8066 和9066 端口

 

修改server.xml文件

 

编辑server.xml文件（读写分离这些就够了，多了碍眼）

 

<?xml version="1.0" encoding="UTF-8"?>

<!-- - - Licensed under the Apache License, Version 2.0 (the "License");

        - you may not use this file except in compliance with the License. - You

        may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0

        - - Unless required by applicable law or agreed to in writing, software -

        distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT

        WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the

        License for the specific language governing permissions and - limitations

        under the License. -->

<!DOCTYPE mycat:server SYSTEM "server.dtd">

<mycat:server xmlns:mycat="http://io.mycat/">

        <system>

        <property name="useSqlStat">1</property>  <!-- 1为开启实时统计、0为关闭 -->

       

        </system>

       

        <user name="root">

                <property name="password">a19911008</property>

                <property name="schemas">TESTDB</property>

        </user>

 

        <user name="yingyue">

                <property name="password">000000</property>

                <property name="schemas">TESTDB</property>

        </user>

 

</mycat:server>

 

配置schema.xml文件 vi conf/schema.xml

 

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

 

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>

 

        <dataNode name="dn1" dataHost="localhost1" database="test_db" />

 

        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                <heartbeat>select user()</heartbeat>

                <!-- can have multi write hosts -->

                <writeHost host="hostM1" url="192.168.42.128:3306" user="root" password="a19911008">

                        <!-- can have multi read hosts -->

                        <readHost host="hostS2" url="192.168.42.129:3306" user="yingyue" password="000000" />

                </writeHost>

        </dataHost>

 

</mycat:schema>

 

启动mycat 进入mycat安装怒目执行/bin/mycat start 或 /bin/mycat console

 

如下启动完成

 

使用mycat作为代理连接MySQL数据库

 

yingyue是192.168.42.129上的MySQL用户为什么可以连接到192.168.42.128的MySQL呢？因为在刚才的mycat的server.xml中配置了，相当于代理

 

参数解释

C:\\Users\\Administrator>mysql -h192.168.42.128 -uyingyue -p000000 -P8066 -DTESTDB

其中8066是mycat的监听端口，类似于mysql的3306端口，其中-u，-p，-h分别是用户名，密码和主机，-P是mycat端口 -D是连接的逻辑库。至于为什么是这些，这个跟mycat的server.xml和schema.xml配置文件有关。

在命令行中执行explain select * from country;

 

看到数据是从dn1节点查的。

插入一条数据

下面来看看mycat监控日志

从日志看到最终被插入到192.168.42.128的MySQL的test_db的country中

看一下主库是否有添加的数据

果然有，说明读写分离成功! 然后从库192.168.42.129中的test_db会复制这条数据

没问题的，读写分离也是成功的。

 

题外话：之前以为mycat可以实现主从库数据复制，原来是不可以的，看看下面，其实mycat就是代理实现了主从库的读写分离。总结：主从复制与读写分离无关，主从复制是MySQL的，读写分离是Mycat的。

 

 

--------------------------------------------------------------------------------------------------

高级篇

MySQL的slave断了怎么办？

如下图：

这个错是我故意弄的，因为192.168.42.128上的test_db是很早前就建的库并且里面有account表，但是192.168.42.128上的MySQL我今天重启过，每次重启二进制日志文件log-bin都不相同，在上次的文件版本上加一所以是mysql-bin.000002， 但是192.168.42.129服务器上的MySQL的是我今天重新关联的，关联的是mysql-bin.000002这个二进制日志文件，这个文件中没有记录account表的创建和插入数据记录。但是在我在主从复制正常的情况下在主服务器上将account删掉，这时删除的记录会记录到mysql-bin.000002的二进制日志文件中，然后slave服务器的MySQL会复制master的日志然后执行日志，slave上的test_db没有account表删除肯定报错；

 

解决方案：

mysql> stop slave;

Query OK, 0 rows affected (0.01 sec)

mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;

Query OK, 0 rows affected (0.00 sec)

mysql> start slave;

Query OK, 0 rows affected (0.01 sec)

解释：

set GLOBAL SQL_SLAVE_SKIP_COUNTER=1; 表示 跳过一个事物

查看从库及其日志，已经开始正常复制
说明：今天发现最后一步不用做，设置完set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;后，开启slave后，该值自动变为0了。

 ------------------------------------------------------------------------------------------------------

延伸：

mysql主从错误断开 怎样恢复

mysql主从同步常见异常及恢复方法

 

1. 一般的异常只需要跳过一步即可恢复

mysql> stop slave;

mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;

mysql> slave start;

 

2.断电导致主从不能同步时，通主库的最后一个bin-log日志进行恢复

在主库服务器上，mysqlbinlog mysql-bin.xxxx > binxxxx.txt

tail -n 100000  binxxxx.txt > tail-binxxxx.txt

vim tail-binxxxx.txt 打开tail-binxxxx.txt文件找到最后一个postion值

然后在从库上，change host to 相应正确的值

mysql> stop slave;

mysql> change master to master_host=\'ip\', master_user=\'username\', master_password=\'password\', master_log_file=\'mysql-bin.xxxx\', master_log_pos=xxxx;

mysql> slave start;

mysql> show slave status\\G

 

3.主键冲突、表已存在等错误代码如1062,1032,1060等，可以在mysql主配置文件my.cnf或my.ini文件指定

略过此类异常并继续下条sql同步，这样也可以避免很多主从同步的异常中断

[mysqld]

slave-skip-errors = 1062,1032,1060

 

-------------------------------------

从理想角度看，主从数据库应该无故障的运转下去，可以有时候还是会出现一些莫名其妙的问题，比如说即便从未在从服务器上手动更新过数据，但还是可能遇到“Error: 1062 Duplicate entry”错误，具体原因不详，可能是MySQL本身的问题。遇到这类问题的时候，从服务器会停止复制操作，我们只能手动解决问题，具体的操作步骤如下：
mysql> stop slave;
mysql> set global sql_slave_skip_counter = 1;
mysql> start slave;

同样的操作可能需要进行多次，也可以设置自动处理此类操作，格式：slave-skip-errors = 错误代码

在从服务器的my.cnf里设置：
slave-skip-errors = 1062