mysql在线做主从及同步问题小结

Posted 2021-04-23 gold experience

在线做主从

主不直接锁表，应用于线上环境ha改造

主导出所有数据并附加master binlog信息

例：

mysqldump -uroot -ppassword  --single-transaction --no-autocommit --master-data=2  --all-databases > xxx.sql

从库导入所有数据以后，执行主从配置

例：

head -n 30 xxx.sql
查看具体的master binlog信息，找到相应的log_file信息和master_log_pos信息

重制slave配置（如果之前做过主从的话）
reset slave all;
配置，按照查看sql文件的信息对应填入
change master to master_host='192.168.xxx.xxx', master_user='user', master_password='password', master_port=3306,master_log_file='mysql-bin.007127',master_log_pos=423949136;
启动和查看
start slave;
show slave status\G

同步问题小结

同步原理：

MySQL的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，写入binlog是顺序写，效率很高。

Slave的IO Thread线程从主库中bin log中读取取日志，SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的，不是顺序的，成本高很多。

1.同步延迟（最常见问题）

原理

由于SQL Thread也是单线程的，如果slave上的其他查询产生lock争用，又或者一个DML语句（大事务、大查询）执行了几分钟卡住了，那么所有之后的DML会等待这个DML执行完才会继续执行，这就导致了延时。可能主库上那个相同的DDL只执行几分钟，但是slave会延时，原因就是master可以并发执行，而Slave_SQL_Running是单线程。

原因：

1）可能是主、从的服务器配置、网络、负载问题导致

2）二、可能会是表结构或者使用姿势不合理所致

例如最近遇到一个奇葩的问题就是mysql的一张表无主键无索引，且定时有百万级别的数据进行delete和insert。直接导致主从同步延迟，长时间都追不上，典型的姿势有问题。

mysql主从是基于行的复制，删除操作的时候，mysql会把这个SQL按照每条记录，拆分成条delete SQL在备库上执行。mysql这么做的目的也是最大程度的保证同步数据的可靠性，但是可靠性的提升伴随而来的便是日志量的增多，同步过程会占用大量带宽。删除操作时，拆成的百万条delete SQL传递并在备库执行，因为表即无主键，也没有索引，所以每执行一次都要做全表扫描才能定位到要删除的那一条数据，效率低到爆，直接就会导致同步延迟。

2.Slave_IO_Running: NO 

  1）配置、权限及网络连接问题

  2）从库正在读取和执行的binlog文件被删除

  3）延迟的情况下双主发生切换，数据冲突

还有一个注意点就是：

mysql的配置中innodb_thread_concurrency大于0的情况下，主从做完可能长期处于于NO的状态。其值默认是0，表示没有并发线程数限制，所有请求都会直接请求线程执行。大于零的值表示有并发数限制，当一个新的请求发起时，会检查当前并发线程数是否达到了 innodb_thread_concurrency的限制值，如果达到限制值，则会sleep一段时间，然后再次请求，如果再次请求时，当前并发数还是达到限制值，那么就会进入FIFO队列等待执行。所以加了限制可能有段时间都会在等待，从而处于NO的状态。