MySQL 组复制介绍

Posted 2020-10-10

一、组复制是个什么鬼？

先从 mysql 的复制技术谈起，首先是 MySQL 的异步复制

异步复制模式下，Master上执行事务产生 binlog，slave 通过连接 master 抓取 binlog 的内容接收到本地的 relaylog 上，然后 apply 对应的事务，产生 slave 服务器上自身的 binlog（由--log-slave-update 参数决定）。流程图如下：

其次是半同步复制，流程图如下

异步复制模式下，如果 slave 全部宕机，则在 master 上的事务无法同步到 slave 上，存在一定的数据安全风险。

半同步复制解决了数据安全风险的问题，在半同步环境下要求至少有一台 slave 接收到 master 的binlog并成功写入到本地的 relaylog, master 上的事务才可以成功提交，这样对主库的事务提交速度会产生一定影响，半同步在数据安全和数据库性能两者之间做了一个中和。

在实际使用过程中，可以通过配置参数（rpl_semi_sync_master_timeout 单位是毫秒，默认为10000，即10s）设定若 slave 在多长时间没有ack返回，同步模式由半同步自动修改为异步同步模式。（mysql半同步工作原理和oracle dataguard的最大保护模式雷同） 

 

组复制分单主模式和多主模式，mysql 的复制技术仅解决了数据同步的问题，如果 master 宕机，意味着数据库管理员需要介入，应用系统可能需要修改数据库连接地址或者重启才能实现。（这里也可以使用数据库中间件产品来避免应用系统数据库连接的问题，例如 mycat 和 atlas 等产品）。组复制在数据库层面上做到了，只要集群中大多数主机可用，则服务可用，也就是说3台服务器的集群，允许其中1台宕机。组复制的流程图如下：

组复制的特点：

● 高一致性

基于原生复制及 paxos 协议的组复制技术，并以插件的方式提供，提供一致数据安全保证；

● 高容错性

只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制；

● 高扩展性

节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息；

● 高灵活性

有单主模式和多主模式，单主模式下，会自动选主，所有更新操作都在主上进行；

多主模式下，所有 server 都可以同时处理更新操作。

二、什么样的应用场景适合用组复制？

1、弹性的数据库复制环境

组复制可以灵活的增加和减少集群中的数据库实例

2、高可用的数据库环境

组复制允许数据库实例宕机，只要集群中大多数服务器可用，则整个数据库服务可用

 

3、替代传统主从复制结构的数据库环境 

 

三、组复制的有哪些先决条件？

1、只支持innodb存储引擎

2、每张表都需要有主键

3、只支持ipv4网络环境

4、要求高网络带宽(通常是千兆内网)和低网络延迟

 

以下的参数在mysql数据库实例上必须要配置

1、--log-bin=bin-log     #记录mysql的binlog

2、--log-slave-update    #记录slave上进行apply relay-log时的binlog

3、--binlog-format=row  #binlog的格式为行模式

4、--gtid-mode=on      #开启gtid模式

5、--master-info-repository=TABLE   #将master-info信息记录到mysql表当中

6、--relay-log-info-repository=TABLE  #将relay-log信息记录到mysql表当中

7、--transaction-write-set-extraction=XXHASH64  #每个事务收集的wirte set和encode使用xxhash64哈希算法

8、开启多线程复制

--slave-parallel-workers=N  #N为具体的复制线程个数

--slave-preserve-commit-order=1 #slave上apply relay-log时事务顺序提交

--slave-parallel-type=LOGICAL_CLOCK  #使用多线程复制

 

四、组复制有哪些限制条件？

1、Replication Event Checksums

由于代码设计的原因，目前组复制还不能支持binlog的checksum,如果要使用组复制，需要配置binlog-checksum=none 

2、Gap Locks

组复制校验的进程不支持间隙锁，mysql间隙锁的设计是为了解决幻读问题 

3、Table Locks and Named Locks

组复制校验的进程不支持表级锁和named locks 

4、SERIALIZABLE Isolation Level

组复制不支持串行事务级别 

5、Concurrent DDL versus DML Operations

组复制的多主模式不支持并行的DDL和DML操作 

6、Foreign Keys with Cascading Constraints

组复制的多主模式不支持带有级联约束类型的外键 

7、Very Large Transactions

组复制不支持巨大的事务

 

参考：

https://dev.mysql.com/doc/refman/5.7/en/group-replication.html

本文出自 “斩月” 博客，谢绝转载！