MyFlash 闪回工具使用

Posted 2022-11-24 渔夫数据库笔记

一：简介

MyFlash是美团开发的一个开源的回滚mysql DML操作的工具，开发语言是 C/C++，该工具通过解析 v4 版本的 binlog，完成回滚操作。
项目地址为：https://github.com/Meituan-Dianping/MyFlash

二：使用注意事项

1）binlog格式必须为row,且binlog_row_image=full
2）一个事务中的DML语句不仅会逆向转换，并且语句顺序也会发生颠倒
3）只能回滚DML（增、删、改）
4）仅支持5.6与5.7
5）如果指定事务结束位点，必须保证结束位点为COMMIT event之后的位点
6）目前还不支持一次反正多个 binlog 文件

三：安装

官方安装文档:
https://github.com/Meituan-Dianping/MyFlash/blob/master/doc/INSTALL.md
1）安装依赖包
yum install gcc*  pkg-config glib2 libgnomeui-devel -y
2）下载并编译源码
wget https://github.com/Meituan-Dianping/MyFlash/archive/master.zip
unzip master.zip
cd MyFlash-master/
# 动态编译
gcc -w  `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c  -o binary/flashback
cd binary
# 编译完成后测试命令
./flashback --help
Usage:
  flashback [OPTION?]

Help Options:
  -h, --help                  Show help options

Application Options:
  --databaseNames             databaseName to apply. if multiple, seperate by comma(,)
  --tableNames                tableName to apply. if multiple, seperate by comma(,)
  --start-position            start position
  --stop-position             stop position
  --start-datetime            start time (format %Y-%m-%d %H:%M:%S)
  --stop-datetime             stop time (format %Y-%m-%d %H:%M:%S)
  --sqlTypes                  sql type to filter . support INSERT, UPDATE ,DELETE. if multiple, seperate by comma(,)
  --maxSplitSize              max file size after split, the uint is M
  --binlogFileNames           binlog files to process. if multiple, seperate by comma(,)  
  --outBinlogFileNameBase     output binlog file name base
  --logLevel                  log level, available option is debug,warning,error
  --include-gtids             gtids to process
  --exclude-gtids             gtids to skip

四：参数解释

下面的这些参数是可以任意组合的。
•	1.databaseNames
指定需要回滚的数据库名。多个数据库可以用“,”隔开。如果不指定该参数，相当于指定了所有数据库。
•	2.tableNames
指定需要回滚的表名。多个表可以用“,”隔开。如果不指定该参数，相当于指定了所有表。
•	3.start-position
指定回滚开始的位置。如不指定，从文件的开始处回滚。请指定正确的有效的位置，否则无法回滚
•	4.stop-position
指定回滚结束的位置。如不指定，回滚到文件结尾。请指定正确的有效的位置，否则无法回滚
•	5.start-datetime
指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定，则不限定时间
•	6.stop-datetime
指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定，则不限定时间
•	7.sqlTypes
指定需要回滚的sql类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用“,”隔开。
•	8.maxSplitSize
一旦指定该参数，对文件进行固定尺寸的分割（单位为M），过滤条件有效，但不进行回滚操作。该参数主要用来将大的binlog文件切割，防止单次应用的binlog尺寸过大，对线上造成压力
•	9.binlogFileNames
指定需要回滚的binlog文件，目前只支持单个文件，后续会增加多个文件支持
•	10.outBinlogFileNameBase
指定输出的binlog文件前缀，如不指定，则默认为binlog_output_base.flashback
•	11.logLevel
仅供开发者使用，默认级别为error级别。在生产环境中不要修改这个级别，否则输出过多
•	12.include-gtids
指定需要回滚的gtid,支持gtid的单个和范围两种形式。
•	13.exclude-gtids
指定不需要回滚的gtid，用法同include-gtids

五：使用示例

1. 通过找的的开始及结束位点，使用MyFlash 对 binlog 进行反转 

./flashback --databaseNames="test_shao" --start-position="1011199796" --stop-position="1011200125" --binlogFileNames=/data/mysql/mysql3306/log/3306-bin.000007
NOTE1:
如果不指定输出文件名(--outBinlogFileNameBase),默认输出文件名为 binlog_output_base.flashback，如果下次使用时上次的 binlog_output_base.flashback文件还在会报如下错误：
** (flashback:22685): ERROR **: 15:45:25.262: the output binlog_output_base.* may overwrite the existing file binlog_output_base.flashback, please choose a newFileName specified by --outBinlogFileNameBase or remove the existing file

NOTE2: 注意 stop-position 要指定为 COMMIT之后的位点，如果指定的为COMMIT之前的会报如下:
Segmentation fault


2. 通过 mysqlbinlog 解析反转后的binlog并导入数据库
1)解析并检查反转后的binlog是否符合预期
mysqlbinlog -vvv binlog_output_base.flashback > test_rollback.sql
2)解析并导入反正后的binlog
mysqlbinlog -vvv binlog_output_base.flashback|mysql -uroot -p -h127.0.0.1 -P3306 -A

3.通过MyFlash 切割后回滚大文件
反转 binlog 文件
./flashback --binlogFileNames=haha.000042
切割反转后的binlog大文件
./flashback --maxSplitSize=1 --binlogFileNames=binlog_output_base.flashback
应用各个被切割的大文件
mysqlbinlog binlog_output_base.flashback.000001 | mysql -h<host> -u<user> -p
...
mysqlbinlog binlog_output_base.flashback.<N> | mysql -h<host> -u<user> -p