mysql 开启binlog 影响性能吗

Posted 2023-05-07

之前有做过一个 binlog 压缩能节约多少空间的测试，效果上看还是比较理想的，可以节约一半以上的空间。但是这个又引出了一个新的问题，那就是这个功能对性能有多大影响呢？于是我又在测试环境试了一下，测试环境的物理配置如下。

根据之前的经验这套测试环境在 120 个表 + 240 个并发的情况，可以取得一个性能上的极大值；所以在这里就直接使用这个作为测试压力。

8.0.19 场景

第一步：安装。

dbma-cli-single-instance --port=3306 --max-mem=131072 \\--pkg=mysql-8.0.19-linux-glibc2.12-x86_64.tar.xz install

第二步：创建测试用户。

create user sysbench@'%' identified by 'sysbench';create database tempdb;grant all on tempdb.* to sysbench@'%';

第三步：填充数据并进行压力测试。

sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \\--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \\--time=3600 --threads=240 oltp_point_select prepare
sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \\--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \\--time=3600 --threads=240 oltp_point_select run

性能表现。

资源消耗情况。

8.0.20 + binlog 压缩

第一步：安装。

dbma-cli-single-instance --port=3306 --max-mem=131072 \\--pkg=mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz install

第二步：创建测试用户。

create user sysbench@'%' identified by 'sysbench';create database tempdb;grant all on tempdb.* to sysbench@'%';
-- dbm-agent 默认会开启 binlog 压缩show global variables like 'binlog_transaction_compression%';+-------------------------------------------+-------+| Variable_name                             | Value |+-------------------------------------------+-------+| binlog_transaction_compression            | ON    || binlog_transaction_compression_level_zstd | 3     |+-------------------------------------------+-------+2 rows in set (0.00 sec)

第三步：填充数据并进行压力测试。

sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \\--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \\--time=3600 --threads=240 oltp_point_select prepare
sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \\--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \\--time=3600 --threads=240 oltp_point_select run

性能表现。

资源消耗情况。

8.0.20 + binlog 不压缩

第一步: 关闭 binlog 压缩功能。

set @@global.binlog_transaction_compression='OFF';
show global variables like 'binlog_transaction_compression%';+-------------------------------------------+-------+| Variable_name                             | Value |+-------------------------------------------+-------+| binlog_transaction_compression            | OFF   || binlog_transaction_compression_level_zstd | 3     |+-------------------------------------------+-------+2 rows in set (0.01 sec)

第二步：进行压力测试。

sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \\--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \\--time=3600 --threads=240 oltp_point_select run

性能表现。

资源消耗情况。

结论

开启 binlog 压缩会对性能有影响，大概会让性能下降 1%，cpu 多消耗 1%。

参考技术A 生产环境显然不可能重启数据库
看来在不重启的情况下，只能
set global sql_log_bin=OFF
在数据导入前先设定此参数
数据导入完成后，可以再开启本回答被提问者采纳

Mysql使用binlog恢复数据解决误操作问题的两种方法

为保证没有其他参数配置影响，重新安装配置了一台最小化安装的CentOS7虚拟机

1. 基础知识


安装mysql5.6数据库
Mysql binlog初步理解

2. 配置mysql 开启binlog、修改binlog模式为Row Level模式


[root@localhost ~]# vi /etc/my.cnf


修改mysql配置文件，在[mysqld]下增加以下内容

# 注释: 开启binlog 文件名以mysql-bin开头
log-bin = mysql-bin
# 注释: 备份恢复模式不需要开启Row模式 闪回需要开启Row模式
binlog_format=”ROW”

3. 重启mysql数据库 binlog开启 生成文件/var/lib/mysql/mysql-bin.000001

service mysqld restart

登录数据库 然后创建测试数据库demo和测试表user

mysql> create database demo;
Query OK, 1 row affected (0.00 sec)
mysql> use demo;
Database changed
mysql> CREATE TABLE user ( id int(8) NOT NULL AUTO_INCREMENT, name varchar(32) NOT NULL, type int(8) NOT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB;
Query OK, 0 rows affected (0.01 sec)


准备完毕，刷新掉binlog文件，此时binlog文件mysql-bin.000001结束，进入mysql-bin.000002记录

mysql> flush logs;
Query OK, 0 rows affected (0.00 sec)

备份数据库

[root@localhost ~]# mysqldump -u root -p –databases demo > db_demo_bak.sql

4. 使用备份+binlog记录方式回滚数据库

1.进入数据库 先插入2条测试数据

mysql> insert into user (id,name,type) value (10001,’A’,’1’);
Query OK, 1 row affected (0.00 sec)
mysql> insert into user (id,name,type) value (10002,’B’,’1’);
Query OK, 1 row affected (0.00 sec)

2.查看数据

mysql> select * from user;
+——-+——+——+
| id | name | type |
+——-+——+——+
| 10001 | A | 1 |
| 10002 | B | 1 |
+——-+——+——+
2 rows in set (0.00 sec)

3.模拟误操作 update修改数据库数据

mysql> update user set name = ‘C’;
Query OK, 2 rows affected (0.00 sec)
Rows matched: 2 Changed: 2 Warnings: 0
mysql> select * from user;
+——-+——+——+
| id | name | type |
+——-+——+——+
| 10001 | C | 1 |
| 10002 | C | 1 |
+——-+——+——+
2 rows in set (0.00 sec)

4.user表的name字段被误操作修改，抓紧刷新掉binlog文件，mysql-bin.000002结束，后续操作进入mysql-bin.000003

mysql> flush logs;
Query OK, 0 rows affected (0.01 sec)

5.此时，查看一下mysql的binlog文件

[root@localhost ~]# ls /var/lib/mysql 
auto.cnf ibdata1 ib_logfile1 mysql-bin.000001 mysql-bin.000003 mysql.sock
demo ib_logfile0 mysql mysql-bin.000002 mysql-bin.index performance_schema


那么，mysql-bin.000002文件记录了从备份到误操作的所有数据库执行，现在我们需要恢复掉被update误操作掉的数据

6.先使用备份恢复数据库 此时表user没有数据

mysql> user demo;
mysql> drop table user;
mysql> source /root/db_demo_bak.sql
mysql> select * from user;
Empty set (0.00 sec)

7.查看mysql-bin.000002记录的操作，查看各操作的Pos和End_log_pos

mysql> show binlog events in ‘mysql-bin.000002’;
+——————+—–+————-+———–+————-+—————————————+
| Log_name | Pos | Event_type | Server_id | End_log_pos | Info |
+——————+—–+————-+———–+————-+—————————————+
| mysql-bin.000002 | 4 | Format_desc | 1 | 120 | Server ver: 5.6.39-log, Binlogver: 4 |
| mysql-bin.000002 | 120 | Query | 1 | 192 | BEGIN |
| mysql-bin.000002 | 192 | Table_map | 1 | 243 | table_id: 72 (demo.user) |
| mysql-bin.000002 | 243 | Write_rows | 1 | 289 | table_id: 72 flags: STMT_END_F |
| mysql-bin.000002 | 289 | Xid | 1 | 320 | COMMIT / xid=147 / |
| mysql-bin.000002 | 320 | Query | 1 | 392 | BEGIN |
| mysql-bin.000002 | 392 | Table_map | 1 | 443 | table_id: 72 (demo.user) |
| mysql-bin.000002 | 443 | Write_rows | 1 | 489 | table_id: 72 flags: STMT_END_F |
| mysql-bin.000002 | 489 | Xid | 1 | 520 | COMMIT / xid=148 / |
| mysql-bin.000002 | 520 | Query | 1 | 592 | BEGIN |
| mysql-bin.000002 | 592 | Table_map | 1 | 643 | table_id: 72 (demo.user) |
| mysql-bin.000002 | 643 | Update_rows | 1 | 723 | table_id: 72 flags: STMT_END_F|
| mysql-bin.000002 | 723 | Xid | 1 | 754 | COMMIT / xid=149 / |
| mysql-bin.000002 | 754 | Rotate | 1 | 801 | mysql-bin.000003;pos=4 |
+——————+—–+————-+———–+————-+—————————————+
14 rows in set (0.00 sec)

可以看出


120 - 320 第一次insert
320 - 520 第二次insert
520 - 754 误操作update

8.使用mysqlbinlog工具恢复insert操作 120 - 520

[root@localhost ~]# mysqlbinlog –start-position=120 –stop-position=520 -database=demo /var/lib/mysql/mysql-bin.000003 | /usr/bin/mysql -u root -p mima666 -v demo

mysqlbinlog的详细使用方法参看官方文档 https://dev.mysql.com/doc

9.查看下user表数据

mysql> select * from user;
+——-+——+——+
| id | name | type |
+——-+——+——+
| 10001 | A | 1 |
| 10002 | B | 1 |
+——-+——+——+
2 rows in set (0.00 sec)

Ok，数据恢复成功

5. 使用binlog+MyFlash闪回方式回滚数据库


参考美团的开源项目MyFlash
MyFlash-gitee MyFlash-github