MySQL之主从复制

Posted 2021-01-16

mysql主从复制原理介绍

MySQL的主从复制是一个异步的复制过程（虽然一般情况下感觉是实时的），数据将从一个Mysql数据库（我们称之为Master）复制到另一个Mysql数据库（我们称之为Slave），在Master与Slave之间实现整个主从复制的过程是由三个线程参与完成的。其中有两个线程（SQL线程和IO线程）在Slave端，另一个线程（I/O线程）在Master端。
  要实现MySQL的主从复制，首先必须打开Master端的binlog记录功能，否则就无法实现。因为整个复制过程实际上就是Slave从aster端获取binlog日志，然后再在Slave上以相同顺序执行获取的binlog日志中的记录的各种SQL操作

MySQL垂直分区

MySQL水平分片（Sharding）

对应shard中查询相关数据

MySQL复制

###### 扩展方式： Scale Up ，Scale Out
  MySQL的扩展
 读写分离
复制：每个节点都有相同的数据集
向外扩展
 二进制日志
 单向
###### 复制的功用：
 数据分布
 负载均衡读
 备份
 高可用和故障切换
 MySQL升级测试

MySQL读写分离

读写分离应用：

mysql-proxy：Oracle，https://downloads.mysql.com/archives/proxy/
Atlas：Qihoo，https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
dbproxy：美团，https://github.com/Meituan-Dianping/DBProxy
Cetus：网易乐得，https://github.com/Lede-Inc/cetus
Amoeba：https://sourceforge.net/projects/amoeba/
Cobar：阿里巴巴，Amoeba的升级版
Mycat：基于Cobar， http://www.mycat.io/
ProxySQL：https://proxysql.com/

一主一从

一主多从

MySQL复制

1 主从复制线程：
 主节点：
     dump Thread：为每个Slave的I/O Thread启动一个dump线程，用于向其
     发送binary log events
 从节点：
    I/O Thread：向Master请求二进制日志事件，并保存于中继日志中
    SQL Thread：从中继日志中读取日志事件，在本地完成重放
2 跟复制功能相关的文件：
    master.info：用于保存slave连接至master时的相关信息，例如账号、密码、
  服务器地址等
   relay-log.info：保存在当前slave节点上已经复制的当前二进制日志和本地
replay log日志的对应关系

主从复制特点：
   异步复制
   主从数据不一致比较常见
复制架构：
  Master/Slave, Master/Master, 环状复制
  一主多从
  从服务器还可以再有从服务器
  一从多主:适用于多个不同数据库
复制需要考虑二进制日志事件记录格式
  STATEMENT（5.0之前）
  ROW（5.1之后，推荐）
  MIXED

主从配置过程：参看官网

https://mariadb.com/kb/en/library/setting-up-replication/
https://dev.mysql.com/doc/refman/5.5/en/replication-configuration.html

主节点配置：

(1) 启用二进制日志
 [mysqld]
 log_bin
 (2) 为当前节点设置一个全局惟一的ID号
 [mysqld]
 server_id=#
log-basename=master 可选项，设置datadir中日志名称，确保不依赖主机名
 (3) 创建有复制权限的用户账号
 GRANT REPLICATION SLAVE ON *.* TO ‘repluser‘@‘HOST‘ IDENTIFIED BY‘replpass‘;

从节点配置：

(1) 启动中继日志
 [mysqld]
server_id=# 为当前节点设置一个全局惟的ID号
relay_log=relay-log relay log的文件路径，默认值hostname-relay-bin
relay_log_index=relay-log.index 默认值hostname-relay-bin.index
(2) 使用有复制权限的用户账号连接至主服务器，并启动复制线程
 mysql> CHANGE MASTER TO MASTER_HOST=‘host‘,
MASTER_USER=‘repluser‘, MASTER_PASSWORD=‘replpass‘,
MASTER_LOG_FILE=‘mysql-bin.xxxxx‘, MASTER_LOG_POS=#;
 mysql> START SLAVE [IO_THREAD|SQL_THREAD];

联机复制

如果主节点已经运行了一段时间，且有大量数据时，如何配置并启动slave节点
   1 通过备份恢复数据至从服务器
   2 复制起始位置为备份时，二进制日志文件及其POS
  3 如果要启用级联复制,需要在从服务器启用以下配置
[mysqld]
log_bin
log_slave_updates

复制架构中应该注意的问题：

1、限制从服务器为只读
 在从服务器上设置read_only=ON
注意：此限制对拥有SUPER权限的用户均无效
 阻止所有用户, 包括主服务器复制的更新
 mysql> FLUSH TABLES WITH READ LOCK;
2、RESET SLAVE
在从服务器清除master.info ，relay-log.info, relay log ，开始新的relay
log ,注意：需要先STOP SLAVE
RESET SLAVE ALL 清除所有从服务器上设置的主服务器同步信息如：
PORT, HOST, USER和 PASSWORD 等
3、sql_slave_skip_counter = N 从服务器忽略几个主服务器的复制事件，
global变量

4、如何保证主从复制的事务安全
参看https://mariadb.com/kb/en/library/server-system-variables/
   在master节点启用参数：
sync_binlog=1 每次写后立即同步二进制日志到磁盘，性能差
 如果用到的为InnoDB存储引擎：
 innodb_flush_log_at_trx_commit=1 每次事务提交立即同步日志写磁盘
 innodb_support_xa=ON 默认值，分布式事务MariaDB10.3.0废除
sync_master_info=# #次事件后master.info同步到磁盘
   在slave节点启用服务器选项：
skip_slave_start=ON 不自动启动slave
   在slave节点启用参数：
 sync_relay_log=# #次写后同步relay log到磁盘
 sync_relay_log_info=# #次事务后同步relay-log.info到磁盘

主主复制

主主复制：互为主从

容易产生的问题：数据不一致；因此慎用
   考虑要点：自动增长id
   配置一个节点使用奇数id
   auto_increment_offset=1 开始点
   auto_increment_increment=2 增长幅度
   另一个节点使用偶数id
   auto_increment_offset=2
   auto_increment_increment=2

###### 主主复制的配置步骤：

(1) 各节点使用一个惟一server_id
(2) 都启动binary log和relay log
(3) 创建拥有复制权限的用户账号
(4) 定义自动增长id字段的数值范围各为奇偶
(5) 均把对方指定为主节点，并启动复制线程

半同步复制

默认情况下，MySQL的复制功能是异步的，异步复制可以提供最佳的性能，主
库把binlog日志发送给从库即结束，并不验证从库是否接收完毕。这意味着当
主服务器或从服务器端发生故障时，有可能从服务器没有接收到主服务器发送
过来的binlog日志，这就会造成主服务器和从服务器的数据不一致，甚至在恢
复时造成数据的丢失

半同步复制实现：

主服务器配置:

 mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME
‘semisync_master.so‘;
 mysql>SET GLOBAL rpl_semi_sync_master_enabled=1;
mysql>SET GLOBAL rpl_semi_sync_master_timeout = 1000;超时长为1s
 mysql>SHOW GLOBAL VARIABLES LIKE ‘%semi%‘;
 mysql>SHOW GLOBAL STATUS LIKE ‘%semi%‘;

从服务器配置:

mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME
‘semisync_slave.so‘;
 mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;