MyCat学习第二天之性能监控，读写分离，集群搭建

Posted 2021-08-21 活跃的咸鱼

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MyCat学习第二天之性能监控，读写分离，集群搭建相关的知识，希望对你有一定的参考价值。

MyCat

1. MyCat性能监控
2. MyCat读写分离搭建
3. Mycat集群搭建
- 3.1 集群架构
- 3.2 高可用集群搭建

本文参考来源于黑马程序员MyCat教程，集群后面的keepalived和haproxy没有去安装，电脑顶不住虚拟机开的太多了所以没有搞完，其他的均安装配置成功了，感谢黑马的免费教程。

1. MyCat性能监控

1.1 MyCat-web简介

Mycat-web 是 Mycat 可视化运维的管理和监控平台，弥补了 Mycat 在监控上的空白。帮 Mycat 分担统计任务和配置管理任务。Mycat-web 引入了 ZooKeeper 作为配置中心，可以管理多个节点。Mycat-web 主要管理和监控 Mycat 的流量、连接、活动线程和内存等，具备 IP 白名单、邮件告警等模块，还可以统计 SQL 并分析慢 SQL 和高频 SQL 等。为优化 SQL 提供依据。
在这里插入图片描述

1.2 MyCat-web下载安装配置

下载：

下载地址 : http://dl.mycat.io/
在这里插入图片描述

安装：

1). 安装Zookeeper

A. 上传安装包 
	alt + p -----> put D:\\tmp\\zookeeper-3.4.11.tar.gz
	
B. 解压
	tar -zxvf zookeeper-3.4.11.tar.gz -C /usr/local/

C. 创建数据存放目录
	mkdir data

D. 修改配置文件名称并配置
	mv zoo_sample.cfg zoo.cfg

E. 配置数据存放目录
	dataDir=/usr/local/zookeeper-3.4.11/data
	
F. 启动Zookeeper
	bin/zkServer.sh start

2). 安装Mycat-web

A. 上传安装包 
	alt + p --------> put D:\\tmp\\Mycat-web-1.0-SNAPSHOT-20170102153329-linux.tar.gz
	
B. 解压
	tar -zxvf Mycat-web-1.0-SNAPSHOT-20170102153329-linux.tar.gz -C /usr/local/

C. 目录介绍
    drwxr-xr-x. 2 root root  4096 Oct 19  2015 etc         ----> jetty配置文件
    drwxr-xr-x. 3 root root  4096 Oct 19  2015 lib         ----> 依赖jar包
    drwxr-xr-x. 7 root root  4096 Jan  1  2017 mycat-web   ----> mycat-web项目
    -rwxr-xr-x. 1 root root   116 Oct 19  2015 readme.txt
    -rwxr-xr-x. 1 root root 17125 Oct 19  2015 start.jar   ----> 启动jar
    -rwxr-xr-x. 1 root root   381 Oct 19  2015 start.sh    ----> linux启动脚本

D. 启动
	sh start.sh
	
E. 访问
	http://192.168.192.147:8082/mycat

如果Zookeeper与Mycat-web不在同一台服务器上 , 需要设置Zookeeper的地址 ; 在/usr/local/mycat-web/mycat-web/WEB-INF/classes/mycat.properties文件中配置 :
在这里插入图片描述
配置：

1.3 MyCat性能监控

在 Mycat-web 上可以进行 Mycat 性能监控，例如：内存分享、流量分析、连接分析、活动线程分析等等。如下图:

A. MyCat内存分析:

在这里插入图片描述

MyCat的内存分析 , 反映了当前的内存使用情况与历史时间段的峰值、平均值。

B. MyCat流量分析:

在这里插入图片描述

MyCat流量分析统计了历史时间段的流量峰值、当前值、平均值，是MyCat数据传输的重要指标， In代表输入， Out代表输出。

C. MyCat连接分析
在这里插入图片描述

MyCat连接分析, 反映了MyCat的连接数

D. MyCat TPS分析
在这里插入图片描述

MyCat TPS 是并发性能的重要参数指标, 指系统在每秒内能够处理的请求数量。 MyCat TPS的值越高 , 代表MyCat单位时间内能够处理的请求就越多, 并发能力也就越高。

E. MyCat活动线程分析反映了MyCat线程的活动情况。

F. MyCat缓存队列分析, 反映了当前在缓存队列中的任务数量。

1.4 Mycat-web之mysql性能监控指标

1). MySQL配置
在这里插入图片描述

2). MySQL监控指标
在这里插入图片描述

可以通过MySQL服务监控, 检测每一个MySQL节点的运行状态, 包含缓存命中率、增删改查比例、流量统计、慢查询比例、线程、临时表等相关性能数据。

1.5 Mycat-web之SQL监控

1). SQL 统计
在这里插入图片描述
2). SQL表分析

3). SQL监控

4). 高频SQL

5). 慢SQL统计
在这里插入图片描述
6). SQL解析
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DsXFyUiP-1626828989905)(assets/1577375162928.png)]

2. MyCat读写分离搭建

2.1 MySQL主从复制原理

为什么要做主从复制？

在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运行。
做数据的热备，主库宕机后能够及时替换主库，保证业务可用性。
架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。

MySQL主从复制的流程
在这里插入图片描述

主库db的更新事件(update、insert、delete)被写到binlog(二进制日志文件)
主库创建一个binlog dump thread(二进制日志文件备份线程)，把binlog的内容发送到从库
从库启动并发起连接，连接到主库
从库启动之后，创建一个I/O线程，读取主库传过来的binlog内容并写入到relaylog
从库启动之后，创建一个SQL线程，从relaylog里面读取内容，从Exec_Master_Log_Pos(该位置是配置master时生成的)位置开始执行读取到的更新事件，将更新内容写入到slave的db

注：上述流程为相对流程，并非绝对流程

MySQL主从复制的原理

MySQL主从复制是一个异步的复制过程，主库发送更新事件到从库，从库读取更新记录，并执行更新记录，使得从库的内容与主库保持一致。

binlog: binary log，主库中保存所有更新事件日志的二进制文件。binlog是数据库服务启动的一刻起，保存数据库所有变更记录（数据库结构和内容）的文件。在主库中，只要有更新事件出现，就会被依次地写入到binlog中，之后会推送到从库中作为从库进行复制的数据源。

binlog输出线程: 每当有从库连接到主库的时候，主库都会创建一个线程然后发送binlog内容到从库。对于每一个即将发送给从库的sql事件，binlog输出线程会将其锁住。一旦该事件被线程读取完之后，该锁会被释放，即使在该事件完全发送到从库的时候，该锁也会被释放。

在从库中，当复制开始时，从库就会创建从库I/O线程和从库的SQL线程进行复制处理。

从库I/O线程: 当START SLAVE语句在从库开始执行之后，从库创建一个I/O线程，该线程连接到主库并请求主库发送binlog里面的更新记录到从库上。从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件，其中包括relay log文件。

从库的SQL线程：从库创建一个SQL线程，这个线程读取从库I/O线程写到relay log的更新事件并执行。

综上所述，可知：

对于每一个主从复制的连接，都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个binlog输出线程，每一个从库都有它自己的I/O线程和SQL线程。

从库通过创建两个独立的线程，使得在进行复制时，从库的读和写进行了分离。因此，即使负责执行的线程运行较慢，负责读取更新语句的线程并不会因此变得缓慢。比如说，如果从库有一段时间没运行了，当它在此启动的时候，尽管它的SQL线程执行比较慢，它的I/O线程可以快速地从主库里读取所有的binlog内容。这样一来，即使从库在SQL线程执行完所有读取到的语句前停止运行了，I/O线程也至少完全读取了所有的内容，并将其安全地备份在从库本地的relay log，随时准备在从库下一次启动的时候执行语句。

2.2 MySQL一主一从搭建

准备的两台机器:

MySQL	IP	端口号
Master	192.168.114.132	3306
Slave	192.168.114.133	3306

1.master配置

1）在master 的配置文件（/etc/my.cnf）中，配置如下内容：

#mysql 服务ID,保证整个集群环境中唯一
server-id=1

#mysql binlog 日志的存储路径和文件名
log-bin=mysql-bin

#设置logbin格式
binlog_format=STATEMENT

#是否只读,1 代表只读, 0 代表读写
read-only=0

#忽略的数据, 指不需要同步的数据库
binlog-ignore-db=mysql

#指定同步的数据库
binlog-do-db=db01

2）执行完毕之后，需要重启Mysql：

service mysql restart ;

3）创建同步数据的账户，并且进行授权操作：

GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.114.133' identified by '123456';


flush privileges;

4）查看master状态：

show master status;

在这里插入图片描述
字段含义:

File : 从哪个日志文件开始推送日志文件 
Position ： 从哪个位置开始推送日志
Binlog_Ignore_DB : 指定不需要同步的数据库

2.slave

1）在 slave 端配置文件/usr/my.cnf中，配置如下内容：

#mysql服务端ID,唯一
server-id=2

#启用中继日志
relay-log=mysql-relay

2）执行完毕之后，需要重启Mysql：

service mysql restart;

3）执行如下指令：

CHANGE MASTER TO 
MASTER_HOST='192.168.114.132',//主机IP
MASTER_USER='root',//之前创建的用户账号
MASTER_PASSWORD='123456',//之前创建的用户密码
MASTER_LOG_FILE='mysql-bin.000002',//master主机的binlog日志名称
MASTER_LOG_POS=154,//binlog日志偏移量
master_port=3306;//端口

在这里插入图片描述

指定当前从库对应的主库的IP地址，用户名，密码，从哪个日志文件开始的那个位置开始同步推送日志。

4）开启同步操作

start slave;

show slave status\\G;

只需要查看IO和SQL线程是否开启就行，看到了两个YES说明主从复制搭建完成。
在这里插入图片描述

5）停止同步操作

stop slave;

3.验证主从同步

1）在主库中创建数据库，创建表，并插入数据：

create database db01;

user db01;

create table user(
	id int(11) not null auto_increment,
	name varchar(50) not null,
	sex varchar(1),
	primary key (id)
)engine=innodb default charset=utf8;

insert into user(id,name,sex) values(null,'Tom','1');
insert into user(id,name,sex) values(null,'Trigger','0');
insert into user(id,name,sex) values(null,'Dawn','1');

2）在从库中查询数据，进行验证：

在从库中，可以查看到刚才创建的数据库：
在这里插入图片描述
在该数据库中，查询user表中的数据：

2.3 MyCat一主一从读写分离

1 读写分离原理
在这里插入图片描述

读写分离,简单地说是把对数据库的读和写操作分开,以对应不同的数据库服务器。主数据库提供写操作，从数据库提供读操作，这样能有效地减轻单台数据库的压力。

通过MyCat即可轻易实现上述功能，MyCat不仅可以支持MySQL，也可以支持Oracle和SQL Server。

MyCat控制后台数据库的读写分离和负载均衡由schema.xml文件datahost标签的balance属性控制。

2 读写分离配置

配置如下：

1). 检查MySQL的主从复制是否运行正常 .

2). 修改MyCat 的conf/schema.xml 配置如下:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">
<table name="user" dataNode="dn1" primaryKey="id"/>
</schema>
<dataNode name="dn1" dataHost="localhost1" database="db01" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql"
dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.114.132:3306" user="root"
password="123456">
<readHost host="hostS1" url="192.168.114.133:3306" user="root"
password="123456" />
</writeHost>
</dataHost>
</mycat:schema>

3). 修改conf/server.xml

<user name="root" defaultAccount="true">
    <property name="password">123456</property>
    <property name="schemas">TESTDB</property>
</user>

<user name="test">
    <property name="password">123456</property>
    <property name="schemas">TESTDB</property>
</user>

<user name="user">
    <property name="password">123456</property>
    <property name="schemas">TESTDB</property>
    <property name="readOnly">true</property>
</user>

4). 配置完毕之后, 重启MyCat服务;

属性含义说明:

checkSQLschema
	当该值设置为true时, 如果我们执行语句"select * from test01.user ;" 语句时, MyCat则会把schema字符去掉 , 可以避免后端数据库执行时报错 ;
	
	
balance
	负载均衡类型, 目前取值有4种:
	
	balance="0" : 不开启读写分离机制 , 所有读操作都发送到当前可用的writeHost上.
	
	balance="1" : 全部的readHost 与 stand by writeHost (备用的writeHost) 都参与select 语句的负载均衡,简而言之,就是采用双主双从模式(M1 --> S1 , M2 --> S2, 正常情况下，M2,S1,S2 都参与 select 语句的负载均衡。);
    
    balance="2" : 所有的读写操作都随机在writeHost , readHost上分发
    
    balance="3" : 所有的读请求随机分发到writeHost对应的readHost上执行, writeHost不负担读压力 ;balance=3 只在MyCat1.4 之后生效 .

3 验证读写分离

我们可以查看mycat/logs目录下的mycat.log日志文件，不过在查看之前要修改一下log4j2.xml文件。把level改为debug。

 <asyncRoot level="debug" includeLocation="true">

修改balance的值, 查询MyCat中的逻辑表中的数据变化;
我们发现插入数据走的是主服务器，查询走的是从服务器。

 ServerConnection [id=1, schema=TESTDB, host=192.168.114.132, 
user=root,txIsolation=3, autocommit=true, schema=TESTDB, 
executeSql=insert into user(id,name,sex) values(4,wf,1)]insert into user(id,name,sex) values(4,wf,1), route={
   1 -> dn1{insert into user(id,name,sex) values(4,wf,1)}
} rrs


LIMIT 100}, respHandler=SingleNodeHandler [node=dn1{SELECT *
FROM user
LIMIT 100}, packetId=8], host=192.168.114.133, port=3306,
 statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

一主一从的缺点是当主机或从机宕机后则无法对外提供服务，我们可以用双主双从的架构来解决这个问题。

2.4 MySQL双主双从搭建

1 架构

一个主机 Master1 用于处理所有写请求，它的从机 Slave1 和另一台主机 Master2 还有它的从机 Slave2 负责所有读请求。当 Master1 主机宕机后，Master2 主机负责写请求，Master1 、Master2 互为备机。架构图如下:
在这里插入图片描述
2 .双主双从配置

准备的机器如下:

编号	角色	IP地址	端口号
1	Master1	192.168.114.129	3306
2	Slave1	192.168.114.130	3306
3	Master2	192.168.114.132	3306
4	Slave2	192.168.114.133	3306

将之前的132和133之间主从关系断掉，只用在133上面执行如下命令既可

stop slave；
reset master;

1). 双主机配置

Master1配置:

#主服务器唯一ID
server-id=1

#启用二进制日志
log-bin=mysql-bin

# 设置不要复制的数据库(可设置多个)
# binlog-ignore-db=mysql
# binlog-ignore-db=information_schema

#设置需要复制的数据库
binlog-do-db=db02
binlog-do-db=db03
binlog-do-db=db04

#设置logbin格式
binlog_format=STATEMENT

# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates

Master2配置:

#主服务器唯一ID
server-id=3

#启用二进制日志
log-bin=mysql-bin

# 设置不要复制的数据库(可设置多个)
#binlog-ignore-db=mysql
#binlog-ignore-db=information_schema

#设置需要复制的数据库
binlog-do-db=db02
binlog-do-db=db03
binlog-do-db=db04

#设置logbin格式
binlog_format=STATEMENT

# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates

2). 双从机配置

Slave1配置:

#从服务器唯一ID
server-id=2

#启用中继日志
relay-log=mysql-relay

Salve2配置:

#从服务器唯一ID
server-id=4

#启用中继日志
relay-log=mysql-relay

3). 双主机、双从机重启 mysql 服务

service mysql restart

4). 主机从机都关闭防火墙

systemctl stop firewalld.service

5). 在两台主机上建立帐户并授权 slave

#在主机MySQL里执行授权命令
GRANT REPLICATION SLAVE ON *.* TO 'root'@'%' 
IDENTIFIED BY '123456';

flush privileges;

在这里插入图片描述

查询Master1的状态 :
在这里插入图片描述
查询Master2的状态 :

6). 在从机上配置需要复制的主机

Slave1 复制 Master1，Slave2 复制 Master2

slave1 指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.129',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=589;

slave2 指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.132',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000003',MASTER_LOG_POS=581;

7). 启动两台从服务器复制功能 , 查看主从复制的运行状态

start slave;

show slave status\\G;

在这里插入图片描述

8). 两个主机互相复制

Master2 复制 Master1，Master1 复制 Master2

Master1 执行指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.132',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000003',MASTER_LOG_POS=581;

Master2 执行指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.129',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=589;

9). 启动两台主服务器复制功能 , 查看主从复制的运行状态

start slave;

show slave status\\G;

在这里插入图片描述

10). 验证

create database db03;

use db03;

create table user(
	id int(11) not null auto_increment,
	name varchar(50) not null,
	sex varchar(1),
	primary key (id)
)engine=innodb default charset=utf8;

insert into user(id,name,sex) values(null,'Tom','1');
insert into user(id,name,sex) values(null,'Trigger','0');
insert into user(id,name,sex) values(null,'Dawn','1');


insert into user(id,name,sex) values(null,'Jack Ma','1');
insert into user(id,name,sex) values(null,'Coco','0');
insert into user(id,name,sex) values(null,'Jerry','1');

在Master1上创建数据库:
在这里插入图片描述

在Master1上创建表 :
在这里插入图片描述

11). 停止从服务复制功能

stop slave;

12). 重新配置主从关系

stop slave;
reset master;

2.5 MyCat双主双从读写分离

1. MyCat配置

修改<dataHost>的 balance属性，通过此属性配置读写分离的类型 ;

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">
<table name="user" dataNode="dn1" primaryKey="id"/>
</schema>
<dataNode name="dn1" dataHost="localhost1" database="db03" />

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql"
dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>

<writeHost host="hostM1" url="192.168.114.129:3306" user="root"
password="123456">
<readHost host="hostS1" url="192.168.114.130:3306" user="root"
password="123456" />
</writeHost>

<writeHost host="hostM2" url="192.168.114.132:3306" user="root"以上是关于MyCat学习第二天之性能监控，读写分离，集群搭建的主要内容，如果未能解决你的问题，请参考以下文章 
 mysql+mycat搭建稳定高可用集群，负载均衡，主备复制，读写分离
 mysql+mycat搭建稳定高可用集群，负载均衡，主备复制，读写分离
 mysql+mycat搭建稳定高可用集群，负载均衡，主备复制，读写分离
 mysql+myca搭建稳定高可用集群，负载均衡，主备复制，读写分离
 MySQL高可用读写分离集群视频课程 MyCat教程
 MySQL数据库集群-PXC方案