mydumper工作原理解析

Posted 2020-11-01

1、简介

逻辑备份小钢炮--mydumper是针对mysql的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发；执行速度据说比mysqldump快10倍；支持事务和非事务表的一致性备份；还支持导出binlog；支持多线程备份；支持以守护进程的形式工作，定时备份；并且是开源的，其协议为GPLv3.

2、使用方法

[email protected]:~/mydumper-0.6.2# ./mydumper --help  
Usage:  
  mydumper [OPTION...] multi-threaded MySQL dumping  

Help Options:  
  -?, --help                  Show help options  

Application Options:  
  -B, --database              需要备份的库  
  -T, --tables-list           需要备份的表，用逗号分隔  
  -o, --outputdir             输出文件的目录  
  -s, --statement-size        生成插入语句的字节数, 默认 1000000，这个参数不能太小，不然会报 Row bigger than statement_size for tools.t_serverinfo  
  -r, --rows                  分裂成很多行块表  
  -c, --compress              压缩输出文件  
  -e, --build-empty-files     即使表没有数据，还是产生一个空文件  
  -x, --regex                 正则表达式: ‘db.table‘  
  -i, --ignore-engines        忽略的存储引擎，用逗号分隔  
  -m, --no-schemas            不导出表结构  
  -k, --no-locks              不执行共享读锁 警告：这将导致不一致的备份  
  -l, --long-query-guard      设置长查询时间,默认60秒，超过该时间则会报错：There are queries in PROCESSLIST running longer than 60s, aborting dump  
  --kill-long-queries         kill掉长时间执行的查询  
  -b, --binlogs               导出binlog  
  -D, --daemon                启用守护进程模式  
  -I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下  
  -L, --logfile               日志文件  
  -h, --host                  The host to connect to  
  -u, --user                  Username with privileges to run the dump  
  -p, --password              User password  
  -P, --port                  TCP/IP port to connect to  
  -S, --socket                UNIX domain socket file to use for connection  
  -t, --threads               使用的线程数，默认4  
  -C, --compress-protocol     在mysql连接上使用压缩协议  
  -V, --version               Show the program version and exit  
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 

3、原理解析

1）该工具在--daemo模式下支持以守护进行形式启动，默认每60s进行一次备份。间隔时间由--snapshot-interval控制。

2）首先会创建一个MySQL服务的连接

3）然后在MySQL上执行show processlist，根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;

4）根据是否有--lock-all-tables，进行锁表：LOCK TABLE tn READ或者FLUSH TABLES WITH READ LOCK；然后执行START TRANSACTION；

5）创建4个备份表的子线程

6）创建1个work thread后，g_async_queue_pop(conf.ready);此时conf.ready为空需要sleep等待。

7）work线程执行：连接mysql；设置隔离级别RR；start transaction；g_async_queue_push(conf->ready,GINT_TO_POINTER(1));然后main函数的g_async_queue_pop挂住的地方可以唤醒了，继续创建线程或者向下走。

8）work线程接着执行：进入死循环，从队列里pop出任务job=(struct job *)g_async_queue_pop(conf->queue);，根据任务类型进行dump。这里的并行是根据表并行的。先备份非事务表，然后备份innodb表

9）最后等所有work线程完成非事务表备份后唤醒g_async_queue_pop(conf.unlock_tables);，执行UNLOCK TABLES解锁

10）事务结束