涨知识!MySQL 主从同步原理原来是这样的
Posted 高效运维
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了涨知识!MySQL 主从同步原理原来是这样的相关的知识,希望对你有一定的参考价值。
什么是 mysql 主从同步
当 master(主)库的数据发生变化的时候,变化会实时的同步到slave(从)库。
主从同步有什么好处
水平扩展数据库的负载能力
容错,高可用。Failover/High Availability
数据备份
主从同步的原理是什么
首先我们来了解 master-slave 的体系结构。
如下图:
不管是 delete、update、insert,还是创建函数、存储过程,所有的操作都在 master 上。
当 master 有操作的时候,slave 会快速的接收到这些操作,从而做同步。
但是,这个机制是怎么实现的呢?
在 master 机器上,主从同步事件会被写到特殊的 log 文件中(binary-log);
在 slave 机器上,slave 读取主从同步事件,并根据读取的事件变化,在 slave 库上做相应的更改。
如此,就实现了主从同步了!下面我们来详细的了解。
主从同步事件有哪些
上面说到,在 master 机器上,主从同步事件会被写到特殊的 log 文件中(binary-log);
主从同步事件有3种形式:statement、row、mixed。
statement:会将对数据库操作的 sql 语句写入到 binlog 中。
row:会将每一条数据的变化写入到 binlog 中。
mixed:statement 与 row 的混合。MySQL 决定什么时候写 statement 格式的,什么时候写 row 格式的 binlog。
在 master 上的操作
当 master 上的数据发生改变的时候,该事件(insert、update、delete)变化会按照顺序写入到binlog中。
binlog dump线程
当 slave 连接到 master 的时候,master机器会为slave开启binlog dump线程。
当 master 的 binlog 发生变化的时候,binlog dump线程会通知slave,并将相应的binlog内容发送给slave。
在 slave 上的操作
查看上述线程
使用 SHOW PROCESSLIST 命令可以查看,如图,在 master 机器上查看 binlog dump线程。
如图,在 slave 机器上查看I/O、SQL线程。
一图以蔽之
讲了这么多,一图以蔽之
下面的实战演练,都是基于上面的环境。当然,其他环境也大同小异。
os:ubuntu16.04
mysql:5.7.17
工具
2台机器:
master IP:192.168.33.22
slave IP:192.168.33.33
master 机器上的操作
1、更改配置文件
我们找到文件
/etc/mysql/mysql.conf.d/mysqld.cnf
配置如下:
#your master ip
bind-address = 192.168.33.22
#在master-slave架构中,每台机器节点都需要有唯一的server-id
server-id = 1
#开启binlog
log_bin = /var/log/mysql/mysql-bin.log
2、重启 MySQL,以使配置文件生效。
sudo systemctl restart mysql
3、创建主从同步的 MySQL user
$ mysql -u root -p
Password:
##创建slave1用户,并指定该用户只能在主机192.168.33.33上登录。
mysql> CREATE USER 'slave1'@'192.168.33.33' IDENTIFIED BY 'slavepass';
Query OK, 0 rows affected (0.00 sec)
##为slave1赋予REPLICATION SLAVE权限。
mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'192.168.33.33';
Query OK, 0 rows affected (0.00 sec)
4、为 MySQL 加读锁
为了主库与从库的数据保持一致,我们先为 MySQL 加入读锁,使其变为只读。
mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)
5、记录下来 MASTER REPLICATION LOG 的位置
mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 613 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
6、将 master DB 中现有的数据信息导出
$ mysqldump -u root -p --all-databases --master-data > dbdump.sql
7、解除 master DB 的读锁
mysql> UNLOCK TABLES;
8、将步骤 6 中的 dbdump.sql 文件 copy 到 slave
scp dbdump.sql ubuntu@192.168.33.33:/home/ubuntu
slave 机器上的操作
1、更改配置文件
我们找到文件
/etc/mysql/mysql.conf.d/mysqld.cnf
更改配置如下:
#your slave ip
bind-address = 192.168.33.33
#master-slave结构中,唯一的server-id
server-id = 2
#开启binlog
log_bin = /var/log/mysql/mysql-bin.log
2、重启 MySQL,以使配置文件生效
sudo systemctl restart mysql
3、导入从 master DB。导出的 dbdump.sql 文件,以使 master-slave 数据一致
$ mysql -u root -p < /home/ubuntu/dbdump.sql
4、使 slave 与 master 建立连接,从而同步
$ mysql -u root -p
Password:
mysql> STOP SLAVE;
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> CHANGE MASTER TO
-> MASTER_HOST='192.168.33.22',
-> MASTER_USER='slave1',
-> MASTER_PASSWORD='slavepass',
-> MASTER_LOG_FILE='mysql-bin.000001',
-> MASTER_LOG_POS=613;
Query OK, 0 rows affected, 2 warnings (0.01 sec)
mysql> START SLAVE;
Query OK, 0 rows affected (0.00 sec)
经过如此设置之后,就可以进行 master-slave 同步了~
9月25日-26日,2020 GOPS 全球运维大会相聚深圳,17 个专场,近 80 位技术大咖。2020年首站 GOPS,精彩不重样~工行、中行、农行、平安、腾讯、阿里、京东多个国内顶尖企业 DevOps 运维体系首度揭秘,机会难得~
投稿邮箱:jiachen@greatops.net,或添加联系人微信:greatops1118.
以上是关于涨知识!MySQL 主从同步原理原来是这样的的主要内容,如果未能解决你的问题,请参考以下文章