pt-archiver归档工具的使用详解
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pt-archiver归档工具的使用详解相关的知识，希望对你有一定的参考价值。
之前的percona-toolkit工具集的使用博文里面也写到pt-archiver这个工具的用法，但是不够深入全面。这里补充完善下。
注意：pt-archiver操作的表必须有主键。
查看帮助： perldoc pt-archiver
Specify at least one of "--dest","--file", or "--purge".
下面几个参数都是互斥的，只能选其一
"--ignore"and "--replace" are mutually exclusive.
"--txn-size"and "--commit-each" are mutually exclusive.
"--low-priority-insert"and "--delayed-insert" are mutually exclusive.
"--share-lock"and "--for-update" are mutually exclusive.
"--analyze"and "--optimize" are mutually exclusive.
"--no-ascend"and "--no-delete" are mutually exclusive.
常用的参数：
--limit10000 每次取1000行数据用pt-archive处理，Number of rows to fetch and archive per statement.
--txn-size 1000 设置1000行为一个事务提交一次，Number of rows pertransaction.
--where‘id<3000‘ 设置操作条件
--progress5000 每处理5000行输出一次处理信息
--statistics 输出执行过程及最后的操作统计。（只要不加上--quiet，默认情况下pt-archive都会输出执行过程的）
--charset=UTF8 指定字符集为UTF8
--bulk-delete 批量删除source上的旧数据(例如每次1000行的批量删除操作)
--bulk-insert 批量插入数据到dest主机 (看dest的general log发现它是通过在dest主机上LOAD DATA LOCAL INFILE插入数据的)
--replace 将insert into 语句改成replace写入到dest库
--sleep120 每次归档了limit个行记录后的休眠120秒（单位为秒）
--file‘/root/test.txt‘
--purge 删除source数据库的相关匹配记录
--header 输入列名称到首行（和--file一起使用）
--no-check-charset 不指定字符集
--check-columns 检验dest和source的表结构是否一致，不一致自动拒绝执行（不加这个参数也行。默认就是执行检查的）
--no-check-columns 不检验dest和source的表结构是否一致，不一致也执行（会导致dest上的无法与source匹配的列值被置为null或者0）
--chekc-interval 默认1s检查一次
--local 不把optimize或analyze操作写入到binlog里面（防止造成主从延迟巨大）
--retries 超时或者出现死锁的话，pt-archiver进行重试的间隔（默认1s）
--no-version-check 目前为止，发现部分pt工具对阿里云RDS操作必须加这个参数
--analyze=ds 操作结束后，优化表空间（d表示dest，s表示source）
默认情况下，pt-archiver操作结束后，不会对source、dest表执行analyze或optimize操作，因为这种操作费时间，并且需要你提前预估有足够的磁盘空间用于拷贝表。一般建议也是pt-archiver操作结束后，在业务低谷手动执行analyze table用以回收表空间。
pt-archiverBug不会迁移max(id)那条数据的解决方法：
参考：http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-migration-max-id-record/
vim/usr/bin/pt-archiver +6285 ，如下：
修改前： $first_sql .= " AND ($col < " . $q->quote_val($val) . ")";
修改后： $first_sql .= " AND ($col <= " . $q->quote_val($val) .")";
删除老数据(单独的删数据操作不用指定字符集)：
/usr/bin/pt-archiver \
--source h=localhost,u=root,p=1234,P=3306,D=test,t=t \
--no-check-charset --where ‘a<=376‘ --limit 10000 --txn-size 1000 --purge
复制数据到其他mysql实例，且不删除source的数据(指定字符集)：
/usr/bin/pt-archiver \
--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1\
--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_bak \
--progress 5000 --where ‘mc_id<=125‘ \
--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete
复制数据到其他mysql实例，并删source上的旧数据(指定字符集)：
/usr/bin/pt-archiver \
--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1 \
--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \
--progress 5000 --where "CreateDate <‘2017-05-01 00:00:00‘ " \
--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --bulk-delete
### 官方文档说明：The normal method isto delete every row by its primary key. Bulk deletes might be a lot faster.They also
mightnot be faster if you have a complex WHERE clause.
复制数据到其他mysql实例，不删除source数据，但是使用批量插入dest上新的数据(指定字符集)：
/usr/bin/pt-archiver \
--source h=localhost,u=archiver,p=archiver,P=3306,D=test,t=t1 \
--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \
--progress 5000 --where "c <‘2017-05-01 00:00:00‘ " \
--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete --bulk-insert
### 测试用的一张只有3列元素的表，共计9万行数据。使用bulk-insert用时7秒钟。而常规insert用时40秒。
导出数据到文件：
/usr/bin/pt-archiver \
--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \
--file ‘/root/test.txt‘ \
--progress 5000 --where ‘a<12000‘ \
--no-delete --statistics --charset=UTF8 --limit=10000 --txn-size 1000
导出数据到文件并删除数据库的相关行：
/usr/bin/pt-archiver \
--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \
--file ‘/root/test.txt‘ \
--progress 5000 --where ‘a<12000‘ \
--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --purge
本文出自 “一只菜鸡的笔记” 博客，请务必保留此出处http://lee90.blog.51cto.com/10414478/1947357
以上是关于pt-archiver归档工具的使用详解的主要内容，如果未能解决你的问题，请参考以下文章