mysql 并行复制

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mysql 并行复制相关的知识,希望对你有一定的参考价值。

   并行复制,主要是解决sql_thread在高并发环境下,存在性能瓶颈。mysql5.7并行复制的思想简单易懂,一个组提交的事务都是可以并行回放,因为这些事务都已进入到事务的prepare阶段,则说明事务之间没有任何冲突(否则就不可能提交)。

为了兼容MySQL 5.6基于库的并行复制,5.7引入了新的变量slave-parallel-type,其可以配置的值有:

 (1)DATABASE:默认值,基于库的并行复制方式

 (2)LOGICAL_CLOCK:基于组提交的并行复制方式


操作步骤:

数据库版本信息

技术分享


复制类型 基于binlog文件名和位置【也可采用GTID方式】

技术分享


在slave 的my.cnf增加配置,然后重启slave。

[mysqld]

slave-parallel-type=LOGICAL_CLOCK

slave-parallel-workers=8

master_info_repository=TABLE

relay_log_info_repository=TABLE

relay_log_recovery=ON


重新start slave;发现有8个coordinator线程。

技术分享


   如何知道事务是否在一组中,因为原版的MySQL并没有提供这样的信息。在MySQL 5.7版本中,其设计方式是将组提交的信息存放在GTID中。那么如果用户没有开启GTID功能,即将参数gtid_mode设置为OFF呢?故MySQL 5.7又引入了称之为Anonymous_Gtid的二进制日志event类型。

技术分享


last_committed值相同的为一组,可以并行执行。

技术分享


监控并行复制的信息

"[email protected]:mysql9000.sock  [performance_schema]>show tables like ‘replication%‘;

+---------------------------------------------+

| Tables_in_performance_schema (replication%) |

+---------------------------------------------+

| replication_applier_configuration           |

| replication_applier_status                  |

| replication_applier_status_by_coordinator   |

| replication_applier_status_by_worker        |

| replication_connection_configuration        |

| replication_connection_status               |

| replication_group_member_stats              |

| replication_group_members                   |

+---------------------------------------------+

8 rows in set (0.00 sec)


并行复制配置与调优

master_info_repository

开启MTS功能后,务必将参数master_info_repostitory设置为TABLE,这样性能可以有50%~80%的提升。这是因为并行复制开启后对于元master.info这个文件的更新将会大幅提升,资源的竞争也会变大。在之前InnoSQL的版本中,添加了参数来控制刷新master.info这个文件的频率,甚至可以不刷新这个文件。因为刷新这个文件是没有必要的,即根据master-info.log这个文件恢复本身就是不可靠的。在推荐将master_info_repository设置为TABLE,来减小这部分的开销。

slave_parallel_workers

若将slave_parallel_workers设置为0,则MySQL 5.7退化为原单线程复制,但将slave_parallel_workers设置为1,则SQL线程功能转化为coordinator线程,但是只有1个worker线程进行回放,也是单线程复制。然而,这两种性能却又有一些的区别,因为多了一次coordinator线程的转发,因此slave_parallel_workers=1的性能反而比0还要差,有20%左右的性能下降。


   这里其中引入了另一个问题,如果主机上的负载不大,那么组提交的效率就不高,很有可能发生每组提交的事务数量仅有1个,那么在从机的回放时,虽然开启了并行复制,但会出现性能反而比原先的单线程还要差的现象,即延迟反而增大了。


本文出自 “南山深处” 博客,请务必保留此出处http://kenneyzhou.blog.51cto.com/12427643/1885731

以上是关于mysql 并行复制的主要内容,如果未能解决你的问题,请参考以下文章

MySQL 5.7 并行复制实现原理与调优

mysql 5.7开启并行复制的方法

详解mysql复制机制--异步复制,半同步复制和并行复制

谈谈MySQL的WriteSet并行复制

MySQL 5.7 并行复制

Day890.MySQL备库并行复制能力 -MySQL实战