Mysql读写分离（Mycat版）

Posted 2020-11-21 在路上的白羊

文章地址：https://www.cnblogs.com/diantong/p/11044635.html

(1).读写分离概述

1）工作原理

　　读写分离是让主数据库处理事务性增删改操作（insert、delete、update），让从数据库处理查询查询操作（select）。

2）作用

　　1.分担负载

　　2.主从只负责各自的写和读，极大的缓解X锁和S锁争用

　　3.从库可配置MyISAM引擎，提升查询性能以及节约系统开销

　　4.增加冗余，提高可用性

3）实现方法

一、应用程序和网站程序的实现。指的是在应用程序内部及连接器中实现读写分离。

　　优点：1.应用程序内部实现读写分离，安装就可以使用；2. 减少一定部署难度；3.访问压力在一定级别以下，性能很好。

　　缺点：1.架构一旦调整，代码要跟着变；2.难以实现高级应用，如自动分库，分表；3.无法适用大型应用场景。

二、中间件实现。指的是在外部中间件程序实现读写分离。

　　优点：1.架构设计更灵活；2.可以在程序上实现一些高级控制，如：透明化水平拆分，failover,监控；3.可以依靠些技术手段提高mysql性能；4.对业务代码的影响小，同时也安全

 　　缺点：需要一定的开发运维团队的支持。

4）常见的Mysql中间键

　　Cobar、MyCAT、OneProxy、Vitess、Kingshard、Atlas、MaxScale与MySQL Route。

　　使用mycat原因是这是一款开源的免费的Mysql中间件，基于Cobar基础上二次开发，其功能也是相当完善。而且目前Mycat社区很活跃，支持度比较高，维护短期内应该不会中断。

(2).实验环境

youxi1　　192.168.5.101　　CentOS7.5　　Mysql5.7.16　　Mysql端口3306　　Mycat中间件

youxi2　　192.168.5.102　　CentOS7.5　　Mysql5.7.16　　Mysql端口3306　　Master

youxi3　　192.168.5.103　　CentOS7.5　　Mysql5.7.16　　Mysql端口3306　　Slave

(3).Mycat服务的安装与配置

　　使用mycat中间件搭建读写分离，那么应访问的是mycat中间件，再由mycat访问主从服务器。

　　Mycat的官网是http://www.mycat.io，我下载的版本是Mycat-server-1.6.7.1-release-20190213150257-linux.tar.gz，然后上传到youxi1服务器上。

　　Mycat需要安装JDK1.7或以上版本，我下载的是jdk-8u191-linux-x64.tar.gz，然后上传到youxi1服务器上。

　　然后解压到/usr/local/目录下

1 2 3 4 5 6

[root@youxi1 ~]# tar zxf Mycat-server-1.6.7.1-release-20190213150257-linux.tar.gz -C /usr/local/ [root@youxi1 ~]# ls /usr/local/ bin  etc  games  include  lib  lib64  libexec  mycat  sbin  share  src [root@youxi1 logs]# ls /usr/local/mycat/ bin catlet conf lib version.txt [root@youxi1 logs]# mkdir /usr/local/mycat/logs　　//少一个logs目录就创建一个

　　添加mysql用户以及修改文件夹权限

1 2 3 4 5 6 7 8 9 10 11

[root@youxi1 ~]# useradd mycat [root@youxi1 ~]# echo "mycat:123456" | chpasswd [root@youxi1 ~]# chown -R mycat:mycat /usr/local/mycat/ [root@youxi1 ~]# ll /usr/local/mycat/ 总用量 12 drwxr-xr-x 2 mycat mycat 190 6月 18 15:30 bin drwxrwxrwx 2 mycat mycat 6 2月 13 14:46 catlet drwxrwxrwx 4 mycat mycat 4096 6月 18 15:30 conf drwxr-xr-x 2 mycat mycat 4096 6月 18 15:30 lib drwxr-xr-x 2 mycat mycat 6 6月  20 15:09 logs -rwxrwxrwx 1 mycat mycat 185 2月 13 15:02 version.txt

 说明：bin 程序目录，存放了封装成服务的版本，还存放了nowrap的shell脚本命令，方便大家选择和修改。mycat支持的命令有{ console | start | stop | restart | status | dump } 

　　　conf目录下存放了配置文件，其中server.xml是Mycat服务器参数调整和用户授权的配置文件，schema.xml是逻辑库、表和分片定义的配置文件，rule.xml是分片规则的配置文件。另外分片规则的一些具体参数信息单独作为一个文件，也是存放在这个目录下。配置文件修改后，需要重启Mycat或者通过9066端口reload。

　　　lib目录下主要存放mycat依赖的一些jar文件。

　　　另外mycat启动后还会生成${sys:MYCAT_HOME}/logs/mycat.log，日志会存放在其中（默认250M上限，时间上限为1天，超出会创建新的日志文件，并且会自动备份），可以在conf/log4j.xml中配置日志文件，默认输出级别为info，可以调整为debug，输出更多信息方便排错。

　　注意：Linux下部署安装MySQL，默认不忽略表名大小写，需要手动到/etc/my.cnf下配置lower_case_table_names=1，使Linux环境下MySQL忽略表名大小写，否则使用MyCAT的时候会提示找不到表的错误！

　　解压JDK，添加jdk的环境变量文件，然后加载环境变量

1 2 3 4 5 6 7 8 9 10 11 12 13 14

[root@youxi1 ~]# mkdir /usr/local/java/ [root@youxi1 ~]# tar xf jdk-8u191-linux-x64.tar.gz -C /usr/local/java/ [root@youxi1 ~]# ls /usr/local/java/ jdk1.8.0_191 [root@youxi1 ~]# vim /etc/profile.d/java.sh　　//配置环境变量 JAVA_HOME=/usr/local/java/jdk1.8.0_191 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATH [root@youxi1 ~]# source /etc/profile.d/java.sh　　//加载环境变量 [root@youxi1 ~]# java -version　　//查看是否生效 java version "1.8.0_191" Java(TM) SE Runtime Environment (build 1.8.0_191-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

(4).Mycat启动

　　添加mycat的环境变量文件，然后加载环境变量

1 2 3 4

[root@youxi1 ~]# vim /etc/profile.d/mycat.sh MYCAT_HOME=/usr/local/mycat PATH=$MYCAT_HOME/bin:$PATH [root@youxi1 ~]# source /etc/profile.d/mycat.sh

　　注意：JDK的环境变量和Mycat的环境变量也可以一次性添加到/etc/profile文件中，然后重新加载。不过没有分开编辑好管理。

　　配置mycat本身的用户信息server.xml文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

[root@youxi1 ~]# vim /usr/local/mycat/conf/server.xml //直接拉到最后修改<user>部分，设置访问mycat的用户信息，以及其能够访问的逻辑库 <user name="root">　　//设置用户名。如果存在defaultAccount="true"，则表示在不指定用户的情况下，默认以该用户访问mycat。 　　<property name="password">123456</property>　　//设置当前用户的密码 　　<property name="schemas">TESTDB</property>　　//能够访问的逻辑库（虚拟库），逻辑库需要在同目录下的schema.xml定义 //没有设置任何权限，则默认具有所有权限 　　<!-- 表级 DML 权限设置 --> 　　<!-- 　　<privileges check="false"> 　　　　<schema name="TESTDB" dml="0110" > 　　　　　　<table name="tb01" dml="0000"></table> 　　　　　　<table name="tb02" dml="1111"></table> 　　　　</schema> 　　</privileges> 　　--> </user>   <user name="user">　　//设置用户名 　　<property name="password">123456</property>　　//设置当前用户的密码 　　<property name="schemas">TESTDB</property>　　//能够访问的逻辑库（虚拟库） 　　<property name="readOnly">true</property>　　//设置只读权限 </user>

　　配置schema.xml文件，定义逻辑库信息

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

[root@youxi1 ~]# cp /usr/local/mycat/conf/schema.xml /usr/local/mycat/conf/schema.xml.bak　　//提供的是分库分表，用法比较高级了 [root@youxi1 ~]# vim /usr/local/mycat/conf/schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/">　　//框定服务配置范围   /*schema标签用于定义mycat中的逻辑库。  *name是逻辑库名；  *checkSQLschema默认为false，含义为是否去掉表名前的逻辑库名，只能去除当前定义的逻辑库名；  *sqlMaxLimit是隐式limit，如果查询没有定义limit，则自动加上limit；  *dataNode指定所属的数据节点，也就是常说的数据分片。*/   <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode=\'dn1\'/>   //dataNote标签用于定义数据节点。name是数据节点名称；dataHost指定所属数据库实例；database指定数据库实例上的实际数据库名（要和真实数据库一样的名字）。   <dataNode name="dn1" dataHost="dthost" database="ha"/>   /*dataHost标签用于定义数据库实例。  *name数据库实例名称；  *maxCon指定每个读写实例连接池的最大连接；  *minCon指定每个读写实例连接池的最小连接，初始化连接池的大小  *balance和writeType请看下方说明；  *dbType指定后端连接的数据库类型，支持二进制的mysql协议，以及其他使用JDBC连接的数据库，例如mongodb、oracle、spark等;  *dbDriver指定后端数据库使用的驱动，可选值JDBC和native,其中native对应二进制的mysql协议，即mysql和maridb，其余都使用JDBC;  *switchType请看下发说明  *slaveThreshold slave服务器读的安全边界，如果Seconds_Behind_Master大于这个值，这台slave服务器会被临时剔除，以免被读。*/   <dataHost name="dthost" maxCon="500" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">   //heartbeat标签用于定义心跳语句，用语句执行成功与否来判断数据库的可用性     <heartbeat>select user()</heartbeat>   /*writeHost和readHost标签都指定数据库的相关配置，用于实例化后端连接池。writeHost定义写实例，readHost定义读实例。  *host是writeHost或readHost的名称，也是唯一标识；  *usrl指定后端实例连接地址；  *user指定后端存储实例需要的用户名（数据库的用户名）；  *password指定后端存储实例需要的密码（数据库用户的密码）；  *weight权重，是配置在readHost中作为读节点的权重*/     <writeHost host="youxi2" url="192.168.5.102:3306" user="mycat" password="123456" />     <writeHost host="youxi3" url="192.168.5.103:3306" user="mycat" password="123456" />   </dataHost> </mycat:schema>

　　注意：如果使用readHost标签，请使用writeHost标签将readHost标签包裹。

说明：

　　balance负载均衡类型。0表示不开启读写分离，所有读操作（select查询）都发送到当前writeHost上。1表示全部的readHost和备用writeHost都参与读操作（select查询）的负载均衡。2表示读操作随机在writeHost和readHost上发布。3表示所有读操作随机分发到当前writeHost对应的readHost上执行，writeHost不用执行。

　　writeType负载均衡类型。0表示所有写操作发送到配置的第一个writeHost，挂了后切换到还生存的第二个writeHost，重新启动后以切换后的为准，切换记录在配置文件dnindex.properties中。1表示所有写操作都随机发送到配置的writeHost，mycat1.5以后已经废弃。

　　switchType切换类型。-1表示不自动切换。1表示自动切换，默认值。2表示基于Mysql主从同步状态决定是否切换，心跳语句为show slave status。3表示基于MySQL galary cluster的切换机制（适合集群），心跳语句为show status like \'wsrep%\'。

　　启动测试Mycat，并设置开机自启

1 2 3 4 5 6 7 8 9 10 11 12 13 14

[root@youxi1 conf]# mycat start　　//因为已经配置环境变量，所以可以不写绝对路径 Starting Mycat-server... [root@youxi1 conf]# tail /usr/local/mycat/logs/wrapper.log STATUS | wrapper  | 2019/06/20 15:26:47 | --> Wrapper Started as Daemon STATUS | wrapper  | 2019/06/20 15:26:47 | Launching a JVM... INFO   | jvm 1    | 2019/06/20 15:26:47 | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0 INFO   | jvm 1    | 2019/06/20 15:26:48 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org INFO   | jvm 1    | 2019/06/20 15:26:48 |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved. INFO   | jvm 1    | 2019/06/20 15:26:48 | INFO   | jvm 1    | 2019/06/20 15:26:57 | MyCAT Server startup successfully. see logs in logs/mycat.log　　//成功启动 [root@youxi1 conf]# echo "/usr/local/mycat/bin/mycat start" >> /etc/rc.local [root@youxi1 conf]# chmod +x /etc/rc.d/rc.local [root@youxi1 conf]# vim /usr/local/mycat/conf/wrapper.conf wrapper.java.command=/usr/local/java/jdk1.8.0_191/bin/java　　//第5行，指向java

　　注意：如果防火墙是打开的，记得添加mysql的端口号。

1 2 3 4 5 6

[root@youxi1 ~]# firewall-cmd --permanent --zone=public --add-port=8066/tcp success [root@youxi2 ~]# firewall-cmd --reload success [root@youxi2 ~]# firewall-cmd --zone=public --list-ports 8066/tcp

(5).配置主从复制

1）youxi2上操作

　　创建mycat中schema.xml文件设置的用户名和密码，以及指定的数据库。创建复制用的用户

1 2 3 4 5 6 7 8 9 10 11

mysql> grant all privileges on *.* to \'mycat\'@\'192.168.5.%\' identified by \'123456\';　　//mycat指定的用户 Query OK, 0 rows affected, 1 warning (0.01 sec)   mysql> grant replication slave on *.* to \'slave\'@\'192.168.5.%\' identified by \'123456\';　　//复制用的用户 Query OK, 0 rows affected, 1 warning (0.00 sec)   mysql> flush privileges;　　//刷新权限表 Query OK, 0 rows affected (0.00 sec)   mysql> create database ha;　　//mycat指定的数据库 Query OK, 1 row affected (0.00 sec)

　　修改配置文件，并重启

1 2 3 4 5

[root@youxi2 ~]# vim /etc/my.cnf server-id=1 log-bin=mysql-bin-master binlog-do-db=ha [root@youxi2 ~]# systemctl restart mysqld

　　查看master状态

1 2 3 4 5 6 7 8

mysql> show master status\\G *************************** 1. row ***************************              File: mysql-bin-master.000001          Position: 154      Binlog_Do_DB: ha  Binlog_Ignore_DB: Executed_Gtid_Set: 1 row in set (0.00 sec)

　　注意：如果防火墙是打开的，记得添加mysql的端口号。

1 2 3 4 5 6

[root@youxi2 ~]# firewall-cmd --permanent --zone=public --add-port=3306/tcp success [root@youxi2 ~]# firewall-cmd --reload success [root@youxi2 ~]# firewall-cmd --zone=public --list-ports 3306/tcp

2）youxi3上操作

　　创建mycat中schema.xml文件设置的用户名和密码，以及指定的数据库。

1 2 3 4 5 6 7 8

mysql> grant all privileges on *.* to \'mycat\'@\'192.168.5.%\' identified by \'123456\';　　//mycat指定的用户 Query OK, 0 rows affected, 1 warning (0.01 sec)   mysql> flush privileges;　　//刷新权限表 Query OK, 0 rows affected (0.00 sec)   mysql> create database ha;　　//mycat指定的数据库 Query OK, 1 row affected (0.01 sec)

　　修改配置文件

1 2 3

[root@youxi3 ~]# vim /etc/my.cnf server-id=2 [root@youxi3 ~]# systemctl restart mysqld

　　配置master信息

1 2 3 4 5 6 7 8

mysql> stop slave; Query OK, 0 rows affected (0.01 sec)   mysql> change master to master_host=\'192.168.5.102\',master_user=\'slave\',master_password=\'123456\',master_log_file=\'mysql-bin-master.000001\',master_log_pos=154; Query OK, 0 rows affected, 2 warnings (0.01 sec)   mysql> start slave; Query OK, 0 rows affected (0.00 sec)

　　查看slave状态

1 2 3 4 5 6 7 8 9 10 11 12 13 14

mysql> show slave status\\G *************************** 1. row ***************************                Slave_IO_State: Waiting for master to send event                   Master_Host: 192.168.5.102                   Master_User: slave                   Master_Port: 3306                 Connect_Retry: 60               Master_Log_File: mysql-bin-master.000001           Read_Master_Log_Pos: 154                Relay_Log_File: youxi3-relay-bin.000003                 Relay_Log_Pos: 327         Relay_Master_Log_File: mysql-bin-master.000001              Slave_IO_Running: Yes             Slave_SQL_Running: Yes

　　注意：如果防火墙是打开的，记得添加mysql的端口号。

1 2 3 4 5 6

[root@youxi3 ~]# firewall-cmd --permanent --zone=public --add-port=3306/tcp success [root@youxi3 ~]# firewall-cmd --reload success [root@youxi3 ~]# firewall-cmd --zone=public --list-ports 3306/tcp

(6).测试

　　在youxi1上连接mycat，当然也可以使用软件客户端远程连接mycat。并创建测试数据

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

[root@youxi1 ~]# mysql -uroot -p123456 -h192.168.5.101 -P8066　　//这边的用户名和密码必须是mycat配置文件server.xml中定义的用户 mysql> show databases;　　//注意这里显示的是mycat定义的逻辑库TESTDB +----------+ | DATABASE | +----------+ | TESTDB   | +----------+ 1 row in set (0.00 sec)   mysql> use TESTDB; Database changed mysql> show tables; Empty set (0.00 sec)   mysql> create table user_tb(user int,name varchar(20)); Query OK, 0 rows affected (0.03 sec)   mysql> insert into user_tb values(1,\'zhangsan\'); Query OK, 1 row affected (0.05 sec)

　　再到youxi2和yousi3上查看

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

[root@youxi2 ~]# mysql -uroot -p123456  mysql> select * from ha.user_tb;　　//查询时需要查询实际存在的数据库 +------+----------+ | user | name     | +------+----------+ |    1 | zhangsan | +------+----------+ 1 row in set (0.00 sec)   [root@youxi3 ~]# mysql -uroot -p123456 mysql> select * from ha.user_tb; +------+----------+ | user | name     | +------+----------+ |    1 | zhangsan | +------+----------+ 1 row in set (0.01 sec)

　　再试一下只读用户user

1 2 3 4 5 6 7 8

[root@youxi1 ~]# mysql -uuser -p123456 -h192.168.5.101 -P8066 mysql> use TESTDB; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A   Database changed mysql> insert into user_tb values(2,\'lisi\'); ERROR 1495 (HY000): User readonly

　　如果master服务器youxi2宕机，那么mycat将只能读不能写。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

//youxi2上停止mysqld，模拟宕机 [root@youxi2 ~]# systemctl stop mysqld   //此时的再进行测试以上是关于Mysql读写分离（Mycat版）的主要内容，如果未能解决你的问题，请参考以下文章 MySQL+MyCat分库分表 读写分离配置MySQL+MyCat分库分表 读写分离配置 MyCat安装及配置读写分离 真实案例：用MyCat实现数据库读写分离与分库分表 SpringBoot+MyCat 实现读写分离分库分表主从同步 Linux 使用Mycat实现读写分离（基于Mysql的读写分离） MySQL高可用读写分离集群视频课程 MyCat教程