Mybatis-Plus批量插入数据太慢，使用rewriteBatchedStatements属性优化，堪称速度与激情！

Posted 2021-06-27 DT辰白

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Mybatis-Plus批量插入数据太慢，使用rewriteBatchedStatements属性优化，堪称速度与激情！相关的知识，希望对你有一定的参考价值。

rewriteBatchedStatements神秘属性

前言
一、rewriteBatchedStatements参数
二、批量添加员工信息
- 1.普通saveBatch批量插入
- 2.设置rewriteBatchedStatements=true批量插入
总结

前言

最近小编手上一堆项目，实在特别忙，每天一堆批量操作，更新、导入、新增、删除，公司使用的Mybatis-Plus操作SQL，用过Mybatis-Plus的小伙伴一定知道他有很多API提供给我们使用，真爽，再不用写那么多繁琐的SQL语句，saveBatch是Plus的批量插入函数，大家平时工作肯定都用过，下面我们就来一个案例进入今天的主题。

一、rewriteBatchedStatements参数

mysql的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL，另外这个选项对INSERT/UPDATE/DELETE都有效

添加rewriteBatchedStatements=true这个参数后的执行速度比较：

二、批量添加员工信息

1.普通saveBatch批量插入

我们循环1万次，把每个实例员工对象装到员工集合（List）中,然后调用Mybatis-Plus的saveBatch方法，传入List集合，实现批量员工的插入，然后我们在方法开始结束的地方，计算当前函数执行时长。

@PostMapping("/addBath")
@ResponseBody
public CommonResult<Employee> addBath(){
    long startTime = System.currentTimeMillis();
    List<Employee> list = new ArrayList<>();
    // 循环批量添加1万条员工数据
    for (int i = 0; i < 10000; i++) {
        Employee employee = new Employee();
        employee.setName("DT测试"+i);
        employee.setAge(20);
        employee.setSalary(9000D);
        employee.setDepartmentId(i);
        list.add(employee);
    }
    boolean batch = employeeService.saveBatch(list);
    if(batch){
        long endTime = System.currentTimeMillis();
        System.out.println("函数执行时间：" + (endTime - startTime) + "ms");
        return CommonResult.success();
    }
    return CommonResult.error();
}

在这里插入图片描述
为了测试的细致，我多点了几下这个方法，下面是每次记录的时长：

批量添加1万条员工数据，测试结果如下：

第一次：（2秒多）
在这里插入图片描述
第二次：（接近2秒）

第三次：（接近2秒）

差不多添加1万条数据在2秒左右，这个时候我们加大量10万条，再测试：

批量添加10万条员工数据，测试结果如下：

第一次：（19.341 秒）
在这里插入图片描述
第二次：（18.298 秒）

顿时我傻了，10万条数据批量添加要20秒左右，这要是再加个10万条，那不崩掉，于是我就各种找解决方案，最后锁定一个数据库连接的属性rewriteBatchedStatements，下面我们就添加上该属性试试速度与激情。