从数据库中分批取数据进行处理

Posted 2021-05-24 liuhmmjj

思路1：

用分页查询的方式取

先查询出要处理的总数据量 count，然后假设每批要处理100条，

代码

 //获取可push的记录进行发送消息
    private void getData(){
        //查出总数据量
        long count = xxxMapper.countByExample(example);
        int pageSize = 100;
        long pageNum = count / pageSize;
        long left = count % pageSize;
        if (left >= 1) {
            pageNum++;
        }


        List<Object> list;
        int pageCount = 1;
        //循环获取
        while (true) {
            //分批查询数据
            RowBounds rowBounds = new RowBounds((pageCount-1)*pageSize,pageSize);
            list = xxxMapper.selectByExampleWithRowbounds(example, rowBounds);
            //可以对分批查出的数据做处理
            if(pageCount >= pageNum) {
                break;
            }
            pageCount++;
        }
    }

思路2：

用取模的方式取数据

int size = 1000;
int threadNum = count / size + 1;

for (int i = 0; i < threadNum; i++) {
   Map paramMap = new HashMap();
   //分批查询
   paramMap.put("threadNum", threadNum);
   paramMap.put("mod", i);
   //用 paramMap 去取模查询数据库//　　SELECT * FROM `tableName` WHERE id % threadNum = mod ; 即查询条件为 自增主键除以线程数余数为当前遍历到的 i
}