百万级别数据批量插入 MySQL,哪种方式最快?

Posted Fire king

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了百万级别数据批量插入 MySQL,哪种方式最快?相关的知识,希望对你有一定的参考价值。

3种策略

源码地址

源码

Mybatis 轻量级框架插入-数据量500W

用时:9.17m

JDBC直接处理-数据量10W

JDBC开启自动提交

用时:13.18m 平均:41s/w

JDBC关闭自动提交

用时:8.955s 平均:0.4s/w

采用JDBC批处理-数据量100W

自动提交

用时:6.981s 平均:0.7s/w

关闭自动提交

用时:6.880s 平均:0.7s/w

JDBC批处理-数据量100W

自动提交

用时:34.329s 平均:2~6s/w

关闭自动提交

用时:33.672s 平均:2~4s/w

总结:

撇去是否开启自动提交事务:
用时:
Mybatis>JDBC直接处理>JDBC批处理
同等策略中:
JDBC直接处理自动提交>JDBC直接处理关闭自动提交
JDBC批处理-100w级别数据自动提交≈JDBC批处理-100w级别数据关闭自动提交,但是随着数据量的提升:
JDBC批处理-500w级别数据自动提交>JDBC批处理-500w级别数据关闭自动提交

以上是关于百万级别数据批量插入 MySQL,哪种方式最快?的主要内容,如果未能解决你的问题,请参考以下文章

1亿条数据批量插入 MySQL,哪种方式最快

Mysql千万级别数据批量插入,性能提高

mysql批量插入数据

php实现mysql百万级数据插入,耗时10s左右

哪种方法最适合批量插入?

百万级数据插入的优化