MySQL之主从复制

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MySQL之主从复制相关的知识,希望对你有一定的参考价值。

mysql主从复制原理介绍

MySQL的主从复制是一个异步的复制过程(虽然一般情况下感觉是实时的),数据将从一个Mysql数据库(我们称之为Master)复制到另一个Mysql数据库(我们称之为Slave),在Master与Slave之间实现整个主从复制的过程是由三个线程参与完成的。其中有两个线程(SQL线程和IO线程)在Slave端,另一个线程(I/O线程)在Master端。
  要实现MySQL的主从复制,首先必须打开Master端的binlog记录功能,否则就无法实现。因为整个复制过程实际上就是Slave从aster端获取binlog日志,然后再在Slave上以相同顺序执行获取的binlog日志中的记录的各种SQL操作

技术分享图片

MySQL垂直分区

技术分享图片

MySQL水平分片(Sharding)

技术分享图片

对应shard中查询相关数据
技术分享图片

MySQL复制

###### 扩展方式: Scale Up ,Scale Out
  MySQL的扩展
 读写分离
复制:每个节点都有相同的数据集
向外扩展
 二进制日志
 单向
###### 复制的功用:
 数据分布
 负载均衡读
 备份
 高可用和故障切换
 MySQL升级测试

MySQL读写分离

读写分离应用:
mysql-proxy:Oracle,https://downloads.mysql.com/archives/proxy/
Atlas:Qihoo,https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
dbproxy:美团,https://github.com/Meituan-Dianping/DBProxy
Cetus:网易乐得,https://github.com/Lede-Inc/cetus
Amoeba:https://sourceforge.net/projects/amoeba/
Cobar:阿里巴巴,Amoeba的升级版
Mycat:基于Cobar, http://www.mycat.io/
ProxySQL:https://proxysql.com/

一主一从
技术分享图片

一主多从
技术分享图片

MySQL复制

1 主从复制线程:
 主节点:
     dump Thread:为每个Slave的I/O Thread启动一个dump线程,用于向其
     发送binary log events
 从节点:
    I/O Thread:向Master请求二进制日志事件,并保存于中继日志中
    SQL Thread:从中继日志中读取日志事件,在本地完成重放
2 跟复制功能相关的文件:
    master.info:用于保存slave连接至master时的相关信息,例如账号、密码、
  服务器地址等
   relay-log.info:保存在当前slave节点上已经复制的当前二进制日志和本地
replay log日志的对应关系
主从复制特点:
   异步复制
   主从数据不一致比较常见
复制架构:
  Master/Slave, Master/Master, 环状复制
  一主多从
  从服务器还可以再有从服务器
  一从多主:适用于多个不同数据库
复制需要考虑二进制日志事件记录格式
  STATEMENT(5.0之前)
  ROW(5.1之后,推荐)
  MIXED
主从配置过程:参看官网

https://mariadb.com/kb/en/library/setting-up-replication/
https://dev.mysql.com/doc/refman/5.5/en/replication-configuration.html

主节点配置:
(1) 启用二进制日志
 [mysqld]
 log_bin
 (2) 为当前节点设置一个全局惟一的ID号
 [mysqld]
 server_id=#
log-basename=master 可选项,设置datadir中日志名称,确保不依赖主机名
 (3) 创建有复制权限的用户账号
 GRANT REPLICATION SLAVE ON *.* TO ‘repluser‘@‘HOST‘ IDENTIFIED BY‘replpass‘;
从节点配置:
(1) 启动中继日志
 [mysqld]
server_id=# 为当前节点设置一个全局惟的ID号
relay_log=relay-log relay log的文件路径,默认值hostname-relay-bin
relay_log_index=relay-log.index 默认值hostname-relay-bin.index
(2) 使用有复制权限的用户账号连接至主服务器,并启动复制线程
 mysql> CHANGE MASTER TO MASTER_HOST=‘host‘,
MASTER_USER=‘repluser‘, MASTER_PASSWORD=‘replpass‘,
MASTER_LOG_FILE=‘mysql-bin.xxxxx‘, MASTER_LOG_POS=#;
 mysql> START SLAVE [IO_THREAD|SQL_THREAD];

联机复制

如果主节点已经运行了一段时间,且有大量数据时,如何配置并启动slave节点
   1 通过备份恢复数据至从服务器
   2 复制起始位置为备份时,二进制日志文件及其POS
  3 如果要启用级联复制,需要在从服务器启用以下配置
[mysqld]
log_bin
log_slave_updates
复制架构中应该注意的问题:
1、限制从服务器为只读
 在从服务器上设置read_only=ON
注意:此限制对拥有SUPER权限的用户均无效
 阻止所有用户, 包括主服务器复制的更新
 mysql> FLUSH TABLES WITH READ LOCK;
2、RESET SLAVE
在从服务器清除master.info ,relay-log.info, relay log ,开始新的relay
log ,注意:需要先STOP SLAVE
RESET SLAVE ALL 清除所有从服务器上设置的主服务器同步信息如:
PORT, HOST, USER和 PASSWORD 等
3、sql_slave_skip_counter = N 从服务器忽略几个主服务器的复制事件,
global变量
4、如何保证主从复制的事务安全
参看https://mariadb.com/kb/en/library/server-system-variables/
   在master节点启用参数:
sync_binlog=1 每次写后立即同步二进制日志到磁盘,性能差
 如果用到的为InnoDB存储引擎:
 innodb_flush_log_at_trx_commit=1 每次事务提交立即同步日志写磁盘
 innodb_support_xa=ON 默认值,分布式事务MariaDB10.3.0废除
sync_master_info=# #次事件后master.info同步到磁盘
   在slave节点启用服务器选项:
skip_slave_start=ON 不自动启动slave
   在slave节点启用参数:
 sync_relay_log=# #次写后同步relay log到磁盘
 sync_relay_log_info=# #次事务后同步relay-log.info到磁盘

主主复制

主主复制:互为主从
容易产生的问题:数据不一致;因此慎用
   考虑要点:自动增长id
   配置一个节点使用奇数id
   auto_increment_offset=1 开始点
   auto_increment_increment=2 增长幅度
   另一个节点使用偶数id
   auto_increment_offset=2
   auto_increment_increment=2
###### 主主复制的配置步骤:
(1) 各节点使用一个惟一server_id
(2) 都启动binary log和relay log
(3) 创建拥有复制权限的用户账号
(4) 定义自动增长id字段的数值范围各为奇偶
(5) 均把对方指定为主节点,并启动复制线程

半同步复制

默认情况下,MySQL的复制功能是异步的,异步复制可以提供最佳的性能,主
库把binlog日志发送给从库即结束,并不验证从库是否接收完毕。这意味着当
主服务器或从服务器端发生故障时,有可能从服务器没有接收到主服务器发送
过来的binlog日志,这就会造成主服务器和从服务器的数据不一致,甚至在恢
复时造成数据的丢失

技术分享图片

半同步复制实现:

主服务器配置:
 mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME
‘semisync_master.so‘;
 mysql>SET GLOBAL rpl_semi_sync_master_enabled=1;
mysql>SET GLOBAL rpl_semi_sync_master_timeout = 1000;超时长为1s
 mysql>SHOW GLOBAL VARIABLES LIKE ‘%semi%‘;
 mysql>SHOW GLOBAL STATUS LIKE ‘%semi%‘;
从服务器配置:
mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME
‘semisync_slave.so‘;
 mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;

以上是关于MySQL之主从复制的主要内容,如果未能解决你的问题,请参考以下文章

MySQL数据库在线热备(主从复制之AB复制)

MySQL数据库在线热备(主从复制之AB复制)

MySQL之主从复制

Mysql之取消主从复制

mysql数据库之——主从复制读写分离的实验操作

160525高并发之mysql主从复制(linux)