mydumper工作原理解析
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mydumper工作原理解析相关的知识,希望对你有一定的参考价值。
1、简介
逻辑备份小钢炮--mydumper是针对mysql的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发;执行速度据说比mysqldump快10倍;支持事务和非事务表的一致性备份;还支持导出binlog;支持多线程备份;支持以守护进程的形式工作,定时备份;并且是开源的,其协议为GPLv3.
2、使用方法
[email protected]:~/mydumper-0.6.2# ./mydumper --help
Usage:
mydumper [OPTION...] multi-threaded MySQL dumping
Help Options:
-?, --help Show help options
Application Options:
-B, --database 需要备份的库
-T, --tables-list 需要备份的表,用逗号分隔
-o, --outputdir 输出文件的目录
-s, --statement-size 生成插入语句的字节数, 默认 1000000,这个参数不能太小,不然会报 Row bigger than statement_size for tools.t_serverinfo
-r, --rows 分裂成很多行块表
-c, --compress 压缩输出文件
-e, --build-empty-files 即使表没有数据,还是产生一个空文件
-x, --regex 正则表达式: ‘db.table‘
-i, --ignore-engines 忽略的存储引擎,用逗号分隔
-m, --no-schemas 不导出表结构
-k, --no-locks 不执行共享读锁 警告:这将导致不一致的备份
-l, --long-query-guard 设置长查询时间,默认60秒,超过该时间则会报错:There are queries in PROCESSLIST running longer than 60s, aborting dump
--kill-long-queries kill掉长时间执行的查询
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式
-I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下
-L, --logfile 日志文件
-h, --host The host to connect to
-u, --user Username with privileges to run the dump
-p, --password User password
-P, --port TCP/IP port to connect to
-S, --socket UNIX domain socket file to use for connection
-t, --threads 使用的线程数,默认4
-C, --compress-protocol 在mysql连接上使用压缩协议
-V, --version Show the program version and exit
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
3、原理解析
1)该工具在--daemo模式下支持以守护进行形式启动,默认每60s进行一次备份。间隔时间由--snapshot-interval控制。
2)首先会创建一个MySQL服务的连接
3)然后在MySQL上执行show processlist,根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;
4)根据是否有--lock-all-tables,进行锁表:LOCK TABLE tn READ或者FLUSH TABLES WITH READ LOCK;然后执行START TRANSACTION;
5)创建4个备份表的子线程
6)创建1个work thread后,g_async_queue_pop(conf.ready);此时conf.ready为空需要sleep等待。
7)work线程执行:连接mysql;设置隔离级别RR;start transaction;g_async_queue_push(conf->ready,GINT_TO_POINTER(1));然后main函数的g_async_queue_pop挂住的地方可以唤醒了,继续创建线程或者向下走。
8)work线程接着执行:进入死循环,从队列里pop出任务job=(struct job *)g_async_queue_pop(conf->queue);,根据任务类型进行dump。这里的并行是根据表并行的。先备份非事务表,然后备份innodb表
9)最后等所有work线程完成非事务表备份后唤醒g_async_queue_pop(conf.unlock_tables);,执行UNLOCK TABLES解锁
10)事务结束
以上是关于mydumper工作原理解析的主要内容,如果未能解决你的问题,请参考以下文章
mysqldump,mydumper以及xtrabackup备份流程简述