10秒内插入亿量级数据，我滴妈，真牛逼...

Posted 2022-03-28 我们一起去大厂

一、前言

相信很多小伙伴都遇到过大数据量导入DB，或者说数据库分表带来的数据批量插入，这时候会遇到个问题就是插入效率低的问题，例如博主前段时间在导入几千万条万条数据时，过程耗时***秒，具体多少？反正没有继续等，直接崩溃。

于是乎对代码做了点优化，最后做到了10s内！！！

开始表演，mock下过程

原始写法，用的正常mybatisplus插入：

public void insertMore() 
        long beginTime = System.currentTimeMillis();

        int num = 10000000;
        List<SysAdmin> sysAdminList = new ArrayList<>();

        for (int i = 0; i < num; i++) 
            SysAdmin sysAdmin = new SysAdmin();
            sysAdmin.setUserName("学员" + i);
            sysAdmin.setRealName("学员" + i);
            sysAdmin.setPassword("***");
            sysAdmin.setPhone("10086");
            sysAdmin.setEmail("[e-mail]");
            sysAdmin.setInfo("测试用户");
            sysAdminList.add(sysAdmin);
        
        
        adminService.saveBatch(sysAdminList);


        long endTime = System.currentTimeMillis();

        System.out.println("耗时" + (endTime - beginTime) / 1000 + "秒");
 

结果： 等了几分钟都没插入完

耗时*********************************秒

多线程分批插入

public void insertMore() 
        long beginTime = System.currentTimeMillis();

        int num = 10000000;
        List<SysAdmin> sysAdminList = new ArrayList<>();

        for (int i = 0; i < num; i++) 
            SysAdmin sysAdmin = new SysAdmin();
            sysAdmin.setUserName("学员" + i);
            sysAdmin.setRealName("学员" + i);
            sysAdmin.setPassword("***");
            sysAdmin.setPhone("10086");
            sysAdmin.setEmail("[e-mail]");
            sysAdmin.setInfo("测试用户");
            sysAdminList.add(sysAdmin);
        
        int nThreads = 100;

        int size = sysAdminList.size();
        ExecutorService executorService = Executors.newFixedThreadPool(nThreads);
        List<Future<Integer>> futures = new ArrayList<Future<Integer>>(nThreads);

        for (int i = 0; i < nThreads; i++) 
            final List<SysAdmin> adminList = sysAdminList.subList(size / nThreads * i, size / nThreads * (i + 1));

            Callable<Integer> task1 = () -> 
                adminService.saveBatch(adminList);
                return 1;
            ;
            futures.add(executorService.submit(task1));
        
        executorService.shutdown();

        long endTime = System.currentTimeMillis();

        System.out.println("耗时" + (endTime - beginTime) / 1000 + "秒");

结果：

耗时9秒

代码说明：

上面是通过应用ExecutorService 建立了固定的线程数，然后根据线程数目进行分组，批量依次导入。一方面可以缓解数据库的压力，另一个面线程数目多了，一定程度会提高程序运行的时间。

缺点就是要看服务器的配置，如果配置好的话就可以开多点线程，配置差的话就开小点。