大批量数据的插入优化的小细节

Posted minjay26

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大批量数据的插入优化的小细节相关的知识,希望对你有一定的参考价值。

今天在测试将elasticsearch中的20万条数据迁移到mysql中时,总感觉速度比较慢,尝试了好多方法,比如网上都说的:

    public void batchSave(List<MailDeliveryTask> tasks) {
        Session session = sessionFactory.openSession();
        for (MailDeliveryTask task : tasks) {
            session.save(task);
        }
        session.flush();
        session.clear();
        session.close();
    }

这种的,但是好像发现打印出来的sql还是逐条insert的,不知道是不是自己的原因,没起作用。

因为我用的是springdata jpa集成的hibernate,最后我关闭了hibernate的show_sql,也就是不打印出sql,发现速度快了不少!

以上是关于大批量数据的插入优化的小细节的主要内容,如果未能解决你的问题,请参考以下文章

数据库插入或者更新大批量数据的性能优化

MySQL批量SQL插入性能优化

MySQL批量SQL插入性能优化

MySQL批量SQL插入性能优化

mybatis优化批量插入数据

MySQL批量SQL插入性能优化详解