java后台大数据量下的分批入库

Posted 大日很忧伤

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了java后台大数据量下的分批入库相关的知识,希望对你有一定的参考价值。

对接入库数据,有时候数据量比较大,需要分批入库,写了一个分批入库的小方法

if (!CollectionUtils.isEmpty(student)) {
                // 计数器
                int count = 1;
                int total = student.size();
                List<StudentEntity> stuList = new ArrayList();
                for (int f = 0; f < total; f++, count++) {
                    StudentEntity entity = student.get(f);
                    entity.setId(IdUtil.objectId());
                    stuList .add(entity);
                    //200条入库一次
                    if (count % 200 == 0) {
                        studentService.insertBatchCustom(stuList);
                        stuList .clear();
                        count = 1;
                    }
                }
                if (!stuList .isEmpty()) {
                    studentService.insertBatchCustom(stuList);
                }
            }

简单记录使用

以上是关于java后台大数据量下的分批入库的主要内容,如果未能解决你的问题,请参考以下文章

一招教你解决大数据量下的各种报表使用问题

ES大数据量下的查询优化

java如何将所有要入库的数据全部转为大写?

List 数据分批入库

大数据量下的分页查询优化技巧

大数据量下的分页查询优化技巧