MYSQL 到MYSQL 分表数据迁移

Posted 2022-04-06 bohu83

一 背景

  通常情况下，还是做业务需求为主，很少会遇到迁移数据的机会，之前做的迁移《MYSQL数据库 单表亿级数据不停机迁移_bohu83的博客-CSDN博客_mysql亿级数据迁移》

业务场景是阿里云 的数据库，迁移用了dts.在线不停机迁移,还是自己去做。

二  技术选型

如果运行停止服务，dba 可以使用mysql官方的mysqldump 或者Percona的备份工具进行迁移。

mysqldump 对于大表迁移速度很慢，不支持分表。所以只能考虑其他办法。

datax: 介绍

阿里云开源离线同步工具DataX3.0介绍-阿里云开发者社区

datax 也可以实现分表，本身没有实践，因为这是Python 的。我对这个不熟悉。所以本次 没采用。

otter:

GitHub - alibaba/otter: 阿里巴巴分布式数据库同步系统(解决中美异地机房)

阿里开源数据迁移工具（背景解决中美异地机房同步）。

相对 复杂。

yugong

GitHub - alibaba/yugong: 阿里巴巴去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)

阿里开源oracle数据迁移工具。java 版本，开源版本不支持MYSQL，但是技术上有改动基础

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=96m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
2022-02-28 15:57:45.739 [main] INFO  com.taobao.yugong.YuGongLauncher - ## start the YuGong.
2022-02-28 15:57:45.816 [main] INFO  com.taobao.yugong.controller.YuGongController - check source database connection ...
2022-02-28 15:57:45.865 [main] INFO  com.taobao.yugong.controller.YuGongController - check source database is ok
2022-02-28 15:57:45.865 [main] INFO  com.taobao.yugong.controller.YuGongController - check target database connection ...
2022-02-28 15:57:45.866 [main] INFO  com.taobao.yugong.controller.YuGongController - check target database is ok
2022-02-28 15:57:45.867 [main] INFO  com.taobao.yugong.controller.YuGongController - check source tables read privileges ...
2022-02-28 15:57:45.934 [main] INFO  com.alibaba.druid.pool.DruidDataSource - dataSource-1 inited
2022-02-28 15:57:46.358 [main] INFO  com.alibaba.druid.pool.DruidDataSource - dataSource-2 inited
2022-02-28 15:57:46.513 [main] INFO  com.taobao.yugong.controller.YuGongController - check source tables is ok.
2022-02-28 15:57:46.524 [main] ERROR com.taobao.yugong.YuGongLauncher - ## Something goes wrong when starting up the YuGong:
com.taobao.yugong.exception.YuGongException: unsupport MYSQL
    at com.taobao.yugong.controller.YuGongController.chooseExtractor(YuGongController.java:339)
    at com.taobao.yugong.controller.YuGongController.start(YuGongController.java:168)
    at com.taobao.yugong.YuGongLauncher.main(YuGongLauncher.java:32)

 

yugong开源版本目的：从oracle到MYSQL迁移。支持异构结构。（背景是阿里的去IOE）可能处于商业考虑，不支持MYSQL到MYSQL迁移.

三  效果

考虑到它是Java框架，框架比较完善，只是缺了MYSQL的抽取，可以参照Oracle的去改。

效果，在配置20个线程读原表，单次读取2000情况下，往16个新库分表迁移。tps在50000以上。

表里有单主键无text大字段。

 速度很快，3300W 数据10分钟就跑完了。

这只是全量数据迁移 ，还有很多细节要考虑，比如迁移 期间增量数据处理，一对多的数据比对不能很好支持。