mydumper工作原理解析

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mydumper工作原理解析相关的知识,希望对你有一定的参考价值。

1、简介

逻辑备份小钢炮--mydumper是针对mysql的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发;执行速度据说比mysqldump快10倍;支持事务和非事务表的一致性备份;还支持导出binlog;支持多线程备份;支持以守护进程的形式工作,定时备份;并且是开源的,其协议为GPLv3.

2、使用方法

[email protected]:~/mydumper-0.6.2# ./mydumper --help  
Usage:  
  mydumper [OPTION...] multi-threaded MySQL dumping  

Help Options:  
  -?, --help                  Show help options  

Application Options:  
  -B, --database              需要备份的库  
  -T, --tables-list           需要备份的表,用逗号分隔  
  -o, --outputdir             输出文件的目录  
  -s, --statement-size        生成插入语句的字节数, 默认 1000000,这个参数不能太小,不然会报 Row bigger than statement_size for tools.t_serverinfo  
  -r, --rows                  分裂成很多行块表  
  -c, --compress              压缩输出文件  
  -e, --build-empty-files     即使表没有数据,还是产生一个空文件  
  -x, --regex                 正则表达式: ‘db.table‘  
  -i, --ignore-engines        忽略的存储引擎,用逗号分隔  
  -m, --no-schemas            不导出表结构  
  -k, --no-locks              不执行共享读锁 警告:这将导致不一致的备份  
  -l, --long-query-guard      设置长查询时间,默认60秒,超过该时间则会报错:There are queries in PROCESSLIST running longer than 60s, aborting dump  
  --kill-long-queries         kill掉长时间执行的查询  
  -b, --binlogs               导出binlog  
  -D, --daemon                启用守护进程模式  
  -I, --snapshot-interval     dump快照间隔时间,默认60s,需要在daemon模式下  
  -L, --logfile               日志文件  
  -h, --host                  The host to connect to  
  -u, --user                  Username with privileges to run the dump  
  -p, --password              User password  
  -P, --port                  TCP/IP port to connect to  
  -S, --socket                UNIX domain socket file to use for connection  
  -t, --threads               使用的线程数,默认4  
  -C, --compress-protocol     在mysql连接上使用压缩协议  
  -V, --version               Show the program version and exit  
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 

3、原理解析
技术分享图片
1)该工具在--daemo模式下支持以守护进行形式启动,默认每60s进行一次备份。间隔时间由--snapshot-interval控制。

2)首先会创建一个MySQL服务的连接

3)然后在MySQL上执行show processlist,根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;

4)根据是否有--lock-all-tables,进行锁表:LOCK TABLE tn READ或者FLUSH TABLES WITH READ LOCK;然后执行START TRANSACTION;

5)创建4个备份表的子线程

6)创建1个work thread后,g_async_queue_pop(conf.ready);此时conf.ready为空需要sleep等待。

7)work线程执行:连接mysql;设置隔离级别RR;start transaction;g_async_queue_push(conf->ready,GINT_TO_POINTER(1));然后main函数的g_async_queue_pop挂住的地方可以唤醒了,继续创建线程或者向下走。

8)work线程接着执行:进入死循环,从队列里pop出任务job=(struct job *)g_async_queue_pop(conf->queue);,根据任务类型进行dump。这里的并行是根据表并行的。先备份非事务表,然后备份innodb表

9)最后等所有work线程完成非事务表备份后唤醒g_async_queue_pop(conf.unlock_tables);,执行UNLOCK TABLES解锁

10)事务结束

以上是关于mydumper工作原理解析的主要内容,如果未能解决你的问题,请参考以下文章

mysqldump,mydumper以及xtrabackup备份流程简述

Relay.js 没有正确解析组合片段

MySQL数据库之多线程备份工具mydumper

备份工具mydumper

MySQL的逻辑备份(mydumper+mysqldump)

二级域名原理以及程序代码