MySQL 从库IO线程分析

Posted 2023-05-18

参考技术A author：sufei

版本：8.0.16

 本文主要分析MySQL复制中从库IO线程的执行过程。当然MySQL复制过程分为基于gtid的io以及基于文件位置io，其实两种处理方式相差无几，这里主要分析基于gtid的io线程。从库复制线程（包含io线程和sql线程）的入口函数为 start_slave ，io线程的主要逻辑函数为 handle_slave_io ，之间的调用关系如下：

 相应的之后检测不同event是否合法，

 完成上述步骤都又进入第15步，开始读取新的event事件。

MySQL主从复制与GTID主从复制

1.主从复制

1.1原理

  主库开启binlog功能并授权从库连接主库，从库通过change master得到主库的相关同步信息,然后连接主库进行验证，主库IO线程根据从库slave线程的请求，从master.info开始记录的位置点向下开始取信息，同时把取到的位置点和最新的位置与binlog信息一同发给从库IO线程，从库将相关的sql语句存放在relay-log里面，最终从库的sql线程将relay-log里的sql语句应用到从库上，至此整个同步过程完成，之后将是无限重复上述过程。

1.2作用

  1）辅助备份

  2）高可用，双主多从

  3）分担负载，读写分离

2.部署主从复制

2.1主库创建授权用户repl

mysql> grant replication slave on *.* to [email protected]'10.0.0.%' idnetified by '123456';

2.2准备工作（如果新环境，此步骤省略；如果主库已经运行一段时间，需要备份主库数据到从库）

主库备份

[[email protected] ~]# mysqldump -A --master-data=2 -p > /tmp/full1.sql  

从库恢复

[[email protected] ~]# scp 172.16.1.102:/tmp/full.sql /tmp

mysql> set sql_log_bin=0;

mysql> source /tmp/full.sql;

2.3主库开启binlog

[[email protected] ~]# vim /etc/my.cnf

log_bin=/data/mysql/mysql-bin

binlog_format=row

[[email protected] ~]# /etc/init.d/mysqld restart

2.4从库建立与主库的连接

mysql> CHANGE MASTER TO

      MASTER_HOST='172.168.1.102',

      MASTER_USER='repl',

      MASTER_PASSWORD='123456',

      MASTER_PORT=3306,

      MASTER_LOG_FILE='mysql-bin.000002',

      MASTER_LOG_POS=656;

2.5从库开始复制

mysql> start slave;

2.6检查

mysql> show slave status\G;

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

注意：只有全部yes，才成功；否则失败。

3.Gtid主从复制

3.1简介

  GTID是一个基于原始mysql服务器生成的一个已经被成功执行的全局事务ID，它由服务器ID以及事务ID组合而成。这个全局事务ID不仅仅在原始服务器器上唯一，在所有存在主从关系 的mysql服务器上也是唯一的。正是因为这样一个特性使得mysql的主从复制变得更加简单，以及数据库一致性更可靠

3.2概念

  1）全局事务标识：global transaction identifiers。

  2）GTID是一个事务一一对应，并且全局唯一ID。

  3）一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。

  4）GTID用来代替传统复制方法，不再使用MASTER_LOG_FILE+MASTER_LOG_POS开启复制。而是使用MASTER_AUTO_POSTION=1的方式开始复制。

  5）MySQL-5.6.5开始支持的，MySQL-5.6.10后开始完善。

  6）在传统的slave端，binlog是不用开启的，但是在GTID中slave端的binlog是必须开启的，目的是记录执行过的GTID（强制）。

3.3优势

  1）更简单的实现failover，不用以前那样再需要找log_file和log_pos

  2）更简单的搭建主从复制

  3）比传统的复制更加安全

  4）GTID是连续的没有空洞的，保证数据的一致性，零丢失

3.4工作原理

  1）当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中

  2）binlog传输到slave，并存储到slave的relaylog后，读取这个GTID的gtid_next变量，即告诉slave下一个要执行的GTID值。

  3）sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID

  4）如果有记录，说明该GTID的事务已经执行，slave会忽略

  5）如果没有记录，slave就会执行该GTID事务，并记录该GITD到自身的binlog，在读取执行事务前会先检查其他的session持有        GTID，确保不被重复执行。

  6）在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描

4.部署gtid主从复制

4.1清理环境

rm -rf /application/myql/data/*

4.2构建主从环境

----------master节点----------

vim /etc/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/application/mysql/data

server-id=1      #同一个复制拓扑中的所有服务器的id号必须唯一

log-bin=mysql-bin

socket=/tmp/mysql.sock

binlog-format=ROW    #二进制日志格式，强烈建议为ROW

gtid-mode=on    #启用gtid类型，否则就是普通的复制架构

enforce-gtid-consistency=true     #强制gtid的一致性

log-slave-updates=1    #slave更新是否记入日志

skip-name-resolve

[client]

socket=/tmp/mysql.sock

----------slave1----------

vim /etc/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/application/mysql/data

server-id=2

binlog-format=ROW

gtid-mode=on

enforce-gtid-consistency=true

log-bin=mysql-bin

log_slave_updates = 1

socket=/tmp/mysql.sock

skip-name-resolve

[client]

socket=/tmp/mysql.sock

----------slave2----------

vim /etc/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/application/mysql/data

server-id=3

binlog-format=ROW

gtid-mode=on

enforce-gtid-consistency=true

log-bin=mysql-bin

log_slave_updates = 1

socket=/tmp/mysql.sock

skip-name-resolve

[client]

socket=/tmp/mysql.sock

4.3初始化master、slave所有节点，并启动

/application/mysql/scripts/mysql_install_db --basedir=/application/mysql --datadir=/application/mysql/data --user=mysql

/etc/init.d/mysqld start

4.4master节点授权用户repl

mysql> gant replication slave on *.* to [email protected]'10.0.0.%' identified by '123456';

4.5slave节点创建与master节点的连接

mysql> change master to

          >master_host='172.16.1.102',

          >master_user='repl',

          >master_password='123456',

          >master_auto_position=1;

4.6slave节点开启复制

mysql> start slave;

4.7slave节点查看状态

mysql> show slave status\G;