MySQL主从同步和读写分离

Posted 2021-08-17 28线不知名云架构师

一、主从同步

 

1.1原理

 1.2二进制日志的保存方式

 1.3主从复制策略

 1.4 部署主从同步

1.4.1 实验思路

• 客户端访问代理服务器
• 代理服务器写入到主服务器
• 主服务器将增删改写入自己二进制日志
• 从服务器将主服务器的二进制日志同步至自己中继日志
• 从服务器重放中继日志到数据库中
• 客户端读，则代理服务器直接访问从服务器
• 降低负载，起到负载均衡作用

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

1.4.2 主从服务器设置时间同步

①主服务器192.168.80.73）

yum -y install ntp

vim /etc/ntp.conf
末行添加
server 127.127.80.0							#设置本地是时钟源，注意修改网段
fudge 127.127.80.0 stratum 8					#设置时间层级为8（限制在15内）

systemctl start ntpd

②从服务器（192.168.80.74，192.168.80.75）

yum -y install ntp ntpdate

systemctl start ntpd
/usr/sbin/ntpdate 192.168.80.73		#进行时间同步，指向Master服务器IP

crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.80.73

 1.4.3服务器安装mysql

创建 mysql 用户
useradd -s /sbin/nologin mysql

#安装依赖包
yum -y install \\
gcc \\
gcc-c++ \\
make \\
pcre-devel \\
expat-devel \\
perl \\
ncurses-devel \\
autoconf \\
cmake

#编译
cd /opt/mysql-5.6.26
cmake  \\
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \\
-DDEFAULT_CHARSET=utf8 \\
-DDEFAULT_COLLATION=utf8_general_ci \\
-DEXTRA_CHARSETS=all \\
-DSYSCONFIDIR=/etc \\
-DMYSQL_DATADIR=/home/mysql/ \\
-DMYSQL_UNIX_ADDR=/home/mysql/mysql.sock

make -j4 && make install



#支持环境变量(mysql命令）
echo export PATH=$PATH:/usr/local/mysql/bin/ >>/etc/profile
export PATH=$PATH:/usr/local/mysql/bin/
source /etc/profile

cd /opt/mysql-5.6.26
cp support-files/my-default.cnf /etc/my.cnf

为保证安全，根据最小权限原则，给予myql目录权限
chown -R mysql.mysql /usr/local/mysql/

cp support-files/mysql.server /etc/init.d/mysqld
chmod 755 /etc/init.d/mysqld
chkconfig --add /etc/init.d/mysqld
chkconfig mysqld --level 35 on

vi /etc/init.d/mysqld
#修改数据文件目录和工作目录
basedir=/usr/local/mysql
datadir=/home/mysql

/usr/local/mysql/scripts/mysql_install_db \\
--user=mysql \\
--ldata=/var/lib/mysql \\
--basedir=/usr/local/mysql \\
--datadir=/home/mysql


service mysqld start

1.4.4配置mysql数据库

①主服务器的mysql配置

vim /etc/my.cnf
server-id = 1
log-bin=master-bin							#添加，主服务器开启二进制日志
log-slave-updates=true						#添加，允许从服务器更新二进制日志

systemctl restart mysqld

mysql -u root -p
grant replication slave on *.* to 'myslave'@'192.168.80.%' identified by '123123';	
#给从服务器授权,允许其复制所有数据库的所有表（第一个账户）
flush privileges;

查看master数据库状态
show master status;

#File 列显示日志名，Fosition 列显示偏移量

②从服务器的mysql配置

vim /etc/my.cnf
server-id = 2						#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin						#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index		#添加，定义中继日志文件的位置和名称

systemctl restart mysqld

mysql -u root -p
change master to master_host='192.168.184.10' , master_user='myslave',master_password='010230',master_log_file='master-bin.000001',master_log_pos=412;
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，这里的是例子，每个人的都不一样

start slave;						#启动同步，如有报错执行 reset slave;
show slave status\\G					#查看 Slave 状态

#确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

PS：一般 Slave_IO_Running: No 的可能性：
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

1.4.5验证主从复制效果

主服务器上进入执行 create database db_test;

去从服务器上查看 show databases;

二、读写分离

2.1 原理

读写分离就是只在主服务器上写，只在从服务器上读
基本的原理是让主数据库处理事务性查询，
而从数据库处理select查询。数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库

2.2为什么要做读写分离

因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的。
但是数据库的“读”(读10000条数据可能只要5秒钟)。
所以读写分离，解决的是，数据库的写入，影响了查询的效率

2.3读写分离的好处

• 数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。
• 利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能

2.4 实现方式

常见的MySQL读写分离分为以下两种:

①基于程序代码内部实现

在代码中根据select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支;
缺点是需要开发人员来实现，运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程
序代码中实现读写分离对代码改动就较大。
 

②基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库；
有以下代表性程序：

• MySQL-Proxy：MySQL-Proxy 为MySQL开源项目，通过其自带的lua脚本(脚本语言)进 行SQL判断。
• Atlas：由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
• Amoeba：由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

2.4.1Amoeba简介

• Amoeba: 是一 个以MySQL为底层数据存储，并对应提供MySQL协议接口的proxy(代理)，外号变形虫
• 读取请求发送给从服务器是，采用轮询调度算法
• amoeba使用的java语言编写，配置文件为xml
• amoeba主要负责对外的一个代理IP

           ①访问这个IP时，发送的请求为“写"请求，则会转给主服务器

           ②当发送的请求为“读"时，会通过调度转发给从服务器，使用轮询算法，轮流分配给两台从服务器

• amoeba可以视为调度器，如果主服务器挂掉(单点故障)，则会有MHA解决这个问题

2.5搭建MySQL读写分离

Amoeba（192.168.184.20）
Amoeba服务器配置

2.5.1安装 Java 环境

因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用。
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

2.5.2服务器上配置 Amoeba读写分离，两个 Slave 读负载均衡

先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

①服务器上配置amoeba对接

grant all on *.* to test@'192.168.184.%' identified by '123.com';

②amoeba服务器配置amoeba服务

cd /usr/local/amoeba/conf/

cp amoeba.xml{,.bak}
vim amoeba.xml									#修改amoeba配置文件

30修改
<property name="user">amoeba</property>

32修改
<property name="password">010230</property>

115修改
<property name="defaultPool">master</property>

117去掉注释–
<property name="writePool">master</property>
<property name="readPool">slaves</property>


cp dbServers.xml{,.bak}
vim dbServers.xml								#修改数据库配置文件

23修改
<property name="schema">mysql</property>

26修改
<!-- mysql user -->
<property name="user">test</property>

28-30去掉注释
<property name="password">010230</property>

45修改，设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">

48修改，设置主服务器的地址
<property name="ipAddress">192.168.184.10</property>

52修改，设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">

55修改，设置从服务器1的地址
<property name="ipAddress">192.168.184.20</property>

58复制上面6行粘贴，设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.184.40</property>

65修改
<dbServer name="slaves" virtual="true">

71修改
<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start &					#启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java							#查看8066端口是否开启，默认端口为TCP 8066

2.5.3测试读写分离

①使用yum快速安装MySQL虚拟客户端

yum install -y mariadb-server mariadb
systemctl start mariadb.service

②在客户端服务器上进行测试：

mysql -u amoeba -p123123 -h 192.168.80.73 -P8066		

#通过amoeba服务器代理访问mysql ，在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从服务器

③在主服务器上

use db_test;
create table test (id int(10),name varchar(10),address varchar(20));

④两台从服务器上

stop slave;											#关闭同步
use db_test;

⑤在slave1上

insert into test values('1','zhangsan','this_is_slave1');

⑥在slave2上

insert into test values('2','lisi','this_is_slave2');

⑦在主服务器上

insert into test values('3','wangwu','this_is_master');

⑧在客户端服务器上

use db_test;
select * from test;		//客户端会分别向slave1和slave2读取数据，显示的只有在两个从服务器上添加的数据，没有在主服务器上添加的数据

insert into test values('4','qianqi','this_is_client');		//只有主服务器上有此数据

⑨再在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据

start slave;