美团点评MyFlash个人安装使用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了美团点评MyFlash个人安装使用相关的知识,希望对你有一定的参考价值。

美团点评MyFlash安装
git clone https://github.com/Meituan-Dianping/MyFlash.git

几点需要注意的细节

  1. binlog格式必须为row,且binlog_row_image=full
  2. 仅支持5.6与5.7
  3. 只能回滚DML(增、删、改)

之前本人常用的binlog回滚工具binlog2sql。其上手比较容易。是采用业界提供的解析binlog的库,然后进行SQL构造,且实现上受制于binlog库提供的功能。

MyFlash实现原理是通过binlog event进行回滚,每个binlog event中event header有个type_code,其中insert为30,update为31,delete为32。对于insert和delete两个相反的操作,只需把type_code互换,则在binlog event级别完成回滚
而update语句相对繁琐,需要对binlog event中data部分修改前数据和修改后数据的内容进行反转,而update语句回滚的核心在于计算出每个修改前数据和修改后数据的长度。

官方文档建议进入安装包目录进行
动态编译链接
gcc -wpkg-config --cflags --libs glib-2.0source/binlogParseGlib.c -o binary/flashback
静态编译链接
gcc -w -gpkg-config --cflags glib-2.0source/binlogParseGlib.c -o binary/flashback /usr/lib64/libglib-2.0.a -lrt

这里我直接使用安装包目录下binary目录下flashback可执行文件进行使用,有可能会报出GLIBC版本过低,自行升级2.14进行使用,升级代码如下

确认版本是否过低
strings /lib64/libc.so.6 |grep GLIBC_ 
下载并安装新版本
wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz 
wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz 
tar -xvf  glibc-2.14.tar.gz 
tar -xvf  glibc-ports-2.14.tar.gz
mv glibc-ports-2.14 glibc-2.14/ports
mkdir glibc-2.14/build
cd glibc-2.14/build 
../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

安装后可以直接使用可执行文件进行使用。

下列参数可以任意组合

1.databaseNames

指定需要回滚的数据库名。多个数据库可以用“,”隔开。如果不指定该参数,相当于指定了所有数据库。

2.tableNames

指定需要回滚的表名。多个表可以用“,”隔开。如果不指定该参数,相当于指定了所有表。

3.start-position

指定回滚开始的位置。如不指定,从文件的开始处回滚。请指定正确的有效的位置,否则无法回滚

4.stop-position

指定回滚结束的位置。如不指定,回滚到文件结尾。请指定正确的有效的位置,否则无法回滚

5.start-datetime

指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定,则不限定时间

6.stop-datetime

指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定,则不限定时间

7.sqlTypes

指定需要回滚的sql类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用“,”隔开。

8.maxSplitSize

一旦指定该参数,对文件进行固定尺寸的分割(单位为M),过滤条件有效,但不进行回滚操作。该参数主要用来将大的binlog文件切割,防止单次应用的binlog尺寸过大,对线上造成压力

9.binlogFileNames

指定需要回滚的binlog文件,目前只支持单个文件,后续会增加多个文件支持

10.outBinlogFileNameBase

指定输出的binlog文件前缀,如不指定,则默认为binlog_output_base.flashback

11.logLevel

仅供开发者使用,默认级别为error级别。在生产环境中不要修改这个级别,否则输出过多

12.include-gtids

指定需要回滚的gtid,支持gtid的单个和范围两种形式。

13.exclude-gtids

指定不需要回滚的gtid,用法同include-gtids

一般常用于时间段回滚及pos点回滚,先确认异常sql的pos点位或时间点位

通过flashback命令转换binlog内容,之后使用binary目录下的mysqlbing解析成可执行sql后校验完成并应用

flashback –binlogFileNames=bin.000000 –start-position=start –stop-position=end

mysqlbinlog binlog_output_base.flashback > run.sql

校验下结果是否符合需求并应用。
mysql   < run.sql

当文件超过20M时候需要使用切片参数进行执行
回滚大文件

回滚
./flashback --binlogFileNames=haha.000042
切割大文件
./flashback --maxSplitSize=1 --binlogFileNames=binlog_output_base.flashback
应用
mysqlbinlog binlog_output_base.flashback.000001 | mysql -h<host> -u<user> -p
...
mysqlbinlog binlog_output_base.flashback.<N> | mysql -h<host> -u<user> -p

以上是关于美团点评MyFlash个人安装使用的主要内容,如果未能解决你的问题,请参考以下文章

mysql 误删除

MySQL 闪回工具MyFlash

MyFlash 闪回工具使用

MyFlash 闪回工具使用

MyFlash 闪回工具使用

美团,点评,澎湃等APP的启示