MySQL 主从搭建

Posted 2021-05-06 丹柿小院

单机多实例搭建mysql主从复制。

1 原理

1.1 复制

复制 Replication是MySQL最重要的功能之一。MySQL从3.23.15版本开始提供复制的功能。

MySQL集群的高可用、负载均衡和读写分离都是基于复制来实现的。

MySQL主从复制的主要用途包括：

• 实时灾备，用于故障切换；

• 读写分离，用于提供查询服务，降低主服务器的访问压力。由于MySQL执行的是异步复制，因此主从服务器之间存在一定的差距，对实时性要求高的数据让仍然需要从主库获取；

• 备份，避免影响业务。

复制基于binlog实现，因此需要先熟悉对binlog有所了解。

1.2 binlog

复制功能的实现基于binlog，即二进制日志。

binlog是MySQL Server层维护的一种二进制日志，与InnDB引擎层的Undo log和Redo log不同。

binlog中记录了所有的DDL（数据定义语言）语句和DML（数据操作语言）语句，不包括数据查询语句。语句以事件形式保存在磁盘中，描述了数据的更改过程。

binlog的最小单位是事件（event），主从之间以事件为单位传输日志，一个或多个事件组成一个事务（transaction），从库上以事务为单位重放日志。

因此，简单来说，binlog传输的单位是事件，从库重放的单位是事务。事务包括事件。

binlog最重要的应用场景有两个，包括复制与数据恢复。

首先介绍下与binlog相关的主要参数。

• log_bin，用于控制是否打开binlog，关闭时执行 show master status 命令结果为空；

• sync_binlog，用于控制多久刷盘一次，0表示MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘，而是由Filesystem自行决定什么时候来做同步，或者cache满了之后才同步到磁盘。n表示当每进行n次事务提交之后，MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。生产环境下建议设置为1，即当系统crash时，最多丢失binlog_cache中未完成的一个事务，对实际数据没有任何实质性影响。binlog中记录的都是已提交的事务，事务提交时必须保证binlog刷盘；

• binlog_format，用于控制binlog记录的格式，包括statement、row与mixed。其中statement level表示保存SQL语句，row level表示记录更新前后的数据。mixed表示MySQL会根据执行的每一条具体的sql语句来从statement与row中选择记录的格式；

• max_binlog_size，用于控制每个binlog文件的大小，默认为1G。当binlog日志写满或数据库服务重启时产生新文件，也可以调用flush logs命令手动切换生成新文件。如果正使用大的事务，由于一个事务不能横跨两个文件，也可能在binlog文件未满的情况下刷新文件。

相关的主要命令如下所示。

• show binary logs，用于查看binlog文件列表；

• show master status，用于查询当前binlog的状态信息，显示正在写的binlog，以及当前的position；

• show binlog events in 'mysql-bin.n' from num limit n，用于查看binlog文件的内容，其中指定日志文件、开始的事件位置以及偏移量。注意show binary events命令可以只能查看第一个binlog文件的内容，而show binlog events in ''命令可以查看指定binlog文件的内容；

• mysqlbinlog mysql-bin.n，用于在命令行中查看binlog内容，并将二进制转换成文本。如果直接cat，看到的都是二进制。通过mysqlbinlog和grep命令可以定位binlog文件中指定操作；

• reset master，用于删除所有的binlog，MySQL将会重新创建新的binlog，编号从000001开始。不建议在生产环境下执行此操作，原因是误删除后可能导致数据库崩溃时无法恢复；

• purge master logs {to 'log_file_name‘ | before datatime_expr'}，用于根据文件名或时间点删除部分的binlog，可以删除指定文件名或时间点之前的binlog。这种清理方式非常合理，不会导致数据库的错误发生。另外，还可以设置日志的过期天数expire_logs_day，过了指定的天数后日志将会自动删除。

1.3 主从复制原理

主从复制的过程可简单总结为：

当主库发生事务提交动作时，会记录到主库的binlog中，并由主库的dump线程发送binlog到从库。

从库的IO线程负责接收主库的binlog日志并记录到自己的relay log中，然后由从库的SQL线程读取relay log并将数据写入从库。

搭建主从的方法很简单，从库执行两条命令即可。

• 从库执行 change master 命令，设置主库的IP、端口、用户名、密码，以及要从哪个位置开始请求binlog，这个位置包含文件名和日志偏移量。建立连接时用户名的密码存储在文本文件master.info中；

• 从库执行 start slave 命令，启动两个线程，包括IO线程与SQL线程，其中IO线程负责与主库建立连接，SQL线程用于读取master.info文件中的信息；

如下图所示是主从复制的具体过程。M表示主库，S表示从库。

其中涉及到的文件与线程包括：

• 文件，主库binlog，从库relay log（存储二进制日志、本地binlog文件的最末端）、master.info（主从信息，初始值为change master to中指定的信息）、relay-log.info（从库relay log应用的信息）；

• 线程，主库Binlog_dump Thread，从库SLAVE_IO_THREAD、SLAVE_SQL_THREAD。

文件与线程的关系如下图所示，肩头上标识执行顺序。

按照顺序介绍：

1、从库的IO线程从master.info文件中查看主库信息和上次的file和pos作为binlog起点信息；

2、从库连接主库，三次握手后建立TCP连接；

3、主库创建dump线程，并按照从库传来的binlog起点信息，从本地文件系统中读取binlog。当主库binlog发生变化时，将通过dump线程将相应的binlog发送给从库，否则睡眠并等待主库产生新的事务；

4、从库接收到主库dump线程发送的binlog；

5、从库将binlog存储在TCP/IP缓存中；

6、从库返回ACK给主库的dump线程结束会话session；

7、从库更新master.info中的binlog位点信息，用于下次请求；

8、从库TCP/IP缓存中的数据落盘，即写入磁盘的relay log中；

9、从库的SQL线程读取relay-log.info中的信息，获取到上次已经应用过的relay-log的位置信息，作为起点；

10、从库的SQL线程定时检查relay log，如果发现有更改立即把将relay log中的内容解析成SQL语句，并按解析SQL语句的位置顺序执行SQL语句；

11、从库将新的binlog文件名和位置记录到master.info文件中；

12、从库定时自动定期purge应用过的relay-log。

备注：

1、MySQL 3.23.15版本中实现复制涉及到两个线程，master与slave各一个。slave中相当于IO与SQL功能是一个线程，从master获取到event后直接apply，没有relay log。缺点是读取event的速度会被slave replay速度拖慢，当主备存在较大延迟时候，会导致大量binlog没有备份到slave端，导致数据丢失；

2、MySQL 4.0.2版本将slave端event读取和执行独立成两个线程（IO线程和SQL线程），同时引入了relay log；

3、MySQL 5.6.3版本之前，仅有一个IO线程，MySQL 5.6.3版本之后，有多个IO线程；

4、MySQL 5.5版本之前，从库IO线程定时请求主库查询是否有更新（轮询机制），MySQL 5.5版本之后，主库有日志变更时会通过dump线程给从库IO线程发送信号（事件机制），提高复制的实时性，但同样是异步操作；

5、MySQL 5.7版本之前主从复制时，会在数据目录下创建名为master.info和relay-log.info的日志文件，MySQL 5.7版本之后，可以通过参数将结果写入表中。使用--master-info-repository可将master.info写入mysql.slave_master_info表中，使用--relay-log-info-repository可将relay-log.info写入mysql.slave_relay_log_info表中；

6、主库针对写操作，顺序写binlog，从库单线程去主库顺序读“写操作的binlog”，从库取到binlog后在本地原样执行（随机写），以保证主从数据逻辑一致。因此master上的并行更新操作不能在slave上并行操作。

7、建议从库（备库）设置为只读模式（readonly），该设置对super用户无效，而用于同步更新的线程，就拥有super权限。

mysql> set global read_only=1;Query OK, 0 rows affected (0.00 sec)
mysql> show grants for replicater@'%';+------------------------------------------------------------------------+| Grants for replicater@% |+------------------------------------------------------------------------+| GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'replicater'@'%' |+------------------------------------------------------------------------+1 row in set (0.00 sec)

2 搭建主从

2.1 主库数据

参考教程在创建测试数据。

创建普通表，然后创建一个插入数据的存储过程，调用存储过程，创建100W条数据。

mysql> SELECT count(*) FROM vote_records;+----------+| count(*) |+----------+| 1000000 |+----------+1 row in set (0.15 sec)
mysql> select * from vote_records limit 5;+----+----------------------+----------+----------+--------+---------------------+| id | user_id | vote_num | group_id | status | create_time |+----+----------------------+----------+----------+--------+---------------------+| 1 | nYASrrI30ImytydhzQm7 | 2457 | 1 | 1 | 2021-04-29 21:07:54 || 2 | RqnsXir9fDghp3ViwAb1 | 1529 | 2 | 1 | 2021-04-29 21:07:54 || 3 | xKZwvMeGxvIViATvGLCC | 2105 | 1 | 2 | 2021-04-29 21:07:54 || 4 | XWEhfhvy3t0ueA2h6xcf | 9401 | 0 | 2 | 2021-04-29 21:07:54 || 5 | mzB9LeGzDkBPckUo40Gf | 3292 | 1 | 2 | 2021-04-29 21:07:54 |+----+----------------------+----------+----------+--------+---------------------+5 rows in set (0.00 sec)

2.2 从库数据

使用 mysqldump 工具进行全备。

[root@test 3340]# /export/servers/mysql/bin/mysqldump -uadmin -p3340 -h127.0.0.1 -P3340 -A -R --triggers --master-data=2 --single-transaction --max-allowed-packet=128M | gzip > /export/zhangkai321/mysql/3340/dumps/full_$(date +%F-%T).sql.gzmysqldump: [Warning] Using a password on the command line interface can be insecure.Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don't want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events.[root@test 3340]# cd dumps/[root@test dumps]# ll -h总用量 46M-rw-r--r-- 1 root root 46M 4月 30 07:45 full_2021-04-30-07:45:46.sql.gz[root@exps-test3 dumps]# pwd/export/zhangkai321/mysql/3340/dumps

将sql.gz文件解压缩为sql文件。

[root@test 3340]# gunzip full_2021-04-30-07\:45\:46.sql.gz [root@test 3340]# [root@test 3340]# ll -h总用量 121M-rw-r--r-- 1 root root 121M 4月 30 07:45 full_2021-04-30-07:45:46.sql

查看sql文件。

[root@test 3340]# head -35 full_2021-04-30-07\:45\:46.sql -- MySQL dump 10.13 Distrib 5.7.24, for Linux (x86_64)---- Host: 127.0.0.1 Database: -- -------------------------------------------------------- Server version 5.7.24-log/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;/*!40101 SET NAMES utf8 */;/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;/*!40103 SET TIME_ZONE='+00:00' */;/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;SET @MYSQLDUMP_TEMP_LOG_BIN = @@SESSION.SQL_LOG_BIN;SET @@SESSION.SQL_LOG_BIN= 0;---- GTID state at the beginning of the backup --SET @@GLOBAL.GTID_PURGED='89a6bd6b-a4e8-11eb-a97d-fa163e19c3b7:1-1260621';---- Position to start replication or point-in-time recovery from---- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=603666887;---- Current Database: `mysql`--

从库执行。

mysql> source /export/zhangkai321/mysql/3340/dumps/full_2021-04-30-07:45:46.sql;

分别查询主库与从库的位点信息，可见两者的位点及GTID号均无关。

主库：

mysql> show master status \G*************************** 1. row *************************** File: mysql-bin.000003 Position: 603666887 Binlog_Do_DB:  Binlog_Ignore_DB: Executed_Gtid_Set: 89a6bd6b-a4e8-11eb-a97d-fa163e19c3b7:1-12606211 row in set (0.00 sec)

从库：

mysql> show master status \G*************************** 1. row *************************** File: mysql-bin.000003 Position: 194 Binlog_Do_DB:  Binlog_Ignore_DB: Executed_Gtid_Set: 0b43b3f6-a5c4-11eb-a03f-fa163e19c3b7:1-61 row in set (0.00 sec)

2.3 位点

基于位点搭建主从关系。

根据全备sql文件中的位点信息指定binlog起点搭建主从。

mysql> change master to -> master_host='127.0.0.1', -> master_port=3340, -> master_user='replicater', -> master_password='3340', -> master_log_file='mysql-bin.000003', -> master_log_pos=603666887;Query OK, 0 rows affected, 2 warnings (0.03 sec)

执行 show slave status 命令显示IO与SQL线程停止。

执行 start slave 命令启动复制，然后重新执行 show slave status 命令。

mysql> start slave;Query OK, 0 rows affected (0.03 sec)
mysql> SHOW SLAVE STATUS \G*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 127.0.0.1 Master_User: replicater Master_Port: 3340 Connect_Retry: 60 Master_Log_File: mysql-bin.000003 Read_Master_Log_Pos: 603666887 Relay_Log_File: relay-log.000002 Relay_Log_Pos: 320 Relay_Master_Log_File: mysql-bin.000003 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB:  Replicate_Ignore_DB: test Replicate_Do_Table:  Replicate_Ignore_Table:  Replicate_Wild_Do_Table:  Replicate_Wild_Ignore_Table:  Last_Errno: 0 Last_Error:  Skip_Counter: 0 Exec_Master_Log_Pos: 603666887 Relay_Log_Space: 521 Until_Condition: None Until_Log_File:  Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File:  Master_SSL_CA_Path:  Master_SSL_Cert:  Master_SSL_Cipher:  Master_SSL_Key:  Seconds_Behind_Master: 0Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error:  Last_SQL_Errno: 0 Last_SQL_Error:  Replicate_Ignore_Server_Ids:  Master_Server_Id: 3340 Master_UUID: 89a6bd6b-a4e8-11eb-a97d-fa163e19c3b7 Master_Info_File: mysql.slave_master_info SQL_Delay: 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates Master_Retry_Count: 86400 Master_Bind:  Last_IO_Error_Timestamp:  Last_SQL_Error_Timestamp:  Master_SSL_Crl:  Master_SSL_Crlpath:  Retrieved_Gtid_Set:  Executed_Gtid_Set: 0b43b3f6-a5c4-11eb-a03f-fa163e19c3b7:1-6 Auto_Position: 0 Replicate_Rewrite_DB:  Channel_Name:  Master_TLS_Version: 1 row in set (0.00 sec)

在主从同步的环境中，replicate-ignore-db用来设置不需要同步的库。当前配置文件中指定 replicate-ignore-db = test，如下所示重置复制过滤参数，否则将不同步test库的更新。

mysql> STOP SLAVE SQL_THREAD;
mysql> CHANGE REPLICATION FILTER REPLICATE_DO_DB = (), REPLICATE_IGNORE_DB = ();
mysql> START SLAVE SQL_THREAD;

未完待续

• binlog；

• reset；

• mysqldump；

• 基于GTID搭建主从；

参考教程

• mysql快速生成批量测试数据

• 记1次未正确设置replicate-ignore-db参数导致MySQL主从同步异常的问题

• 13.4.2.2 CHANGE REPLICATION FILTER Statement