mysql使用mydumper导出，myloader 恢复数据到tidb的问题

Posted 2023-03-20

[root@localhost app]# myloader -u root -h 192.168.120.20 -P 4000 -p 123456 -B dmp -d /home/app/device_info/ -t 16

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info-schema.sql: Table 'dmp.device_info' already exists

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00006.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00021.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00014.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00003.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00017.sql: transaction too large, len:300001

** (myloader:26416): CRITICAL **: Error restoring dmp.device_info from file dmp-init.device_info.00022.sql: transaction too large, len:300001
这个是提示什么过大了？需要修改什么参数吗

参考技术A mydumper工具 https://launchpad.net/mydumper/+download
速度比mysqldump快10倍，支持导出binlog，事务和非事务一致快照，多线程恢复
用myloader恢复
安装配置mydumper工具：
先安装cmake：
5.5开始，编译配置工具换成了CMake，还需要make和gcc两个工具，一般系统都会自带，如有yum，可以用yum install cmake安装(查看yum list cmake)。
如没有yum，则需要下载cmake包。本回答被提问者和网友采纳 参考技术B

./bin/mydumper -h 127.0.0.1 -P 3306 -u root -t 16 -F 256 -B test -T t1,t2 --skip-tz-utc -o /data/my_database/

其中：

-B test：从 test 数据库导出。

-T t1,t2：只导出 t1 和 t2 这两个表。

-t 16：使用 16 个线程导出数据。

-F 256：将每张表切分成多个文件，每个文件大小约为 256 MB。

--skip-tz-utc：添加这个参数则会忽略掉 TiDB 与导数据的机器之间时区设置不一致的情况，禁止自动转换。

mydumper 文档

欢迎到 TiDB 社区（AskTUG）提问~！