从数据库中分批取数据进行处理

Posted 2022-12-10 liuhmmjj

思路1：

用分页查询的方式取

先查询出要处理的总数据量 count，然后假设每批要处理100条，

代码

 //获取可push的记录进行发送消息
    private void getData()
        //查出总数据量
        long count = xxxMapper.countByExample(example);
        int pageSize = 100;
        long pageNum = count / pageSize;
        long left = count % pageSize;
        if (left >= 1) 
            pageNum++;
        


        List<Object> list;
        int pageCount = 1;
        //循环获取
        while (true) 
            //分批查询数据
            RowBounds rowBounds = new RowBounds((pageCount-1)*pageSize,pageSize);
            list = xxxMapper.selectByExampleWithRowbounds(example, rowBounds);
            //可以对分批查出的数据做处理
            if(pageCount >= pageNum) 
                break;
            
            pageCount++;
        
    

思路2：

用取模的方式取数据

int size = 1000;
int threadNum = count / size + 1;

for (int i = 0; i < threadNum; i++) 
   Map paramMap = new HashMap();
   //分批查询
   paramMap.put("threadNum", threadNum);
   paramMap.put("mod", i);
   //用 paramMap 去取模查询数据库//　　SELECT * FROM `tableName` WHERE id % threadNum = mod ; 即查询条件为 自增主键除以线程数余数为当前遍历到的 i