关于mysql百万级数据的插入和删除

Posted 2020-09-28 agnils

这几天有个朋友让我帮他优化mysql百万级操作db的事。于是我就答应了……。优化完个人做个笔记。给大家一个参考……如果有更好的方法，或建议可以联系[email protected] 

程序员不想做解释直接上代码：

public boolean test(String filePath) throws Exception{
        String sql = "LOAD DATA INFILE ‘"+filePath+"‘ REPLACE INTO TABLE t_table FIELDS TERMINATED BY ‘\r\n‘ lines terminated by ‘\r\n‘ (terminal_id)"; 
        PreparedStatement  pstmt  =jdbcTemplate.getDataSource().getConnection().prepareStatement(sql);
        pstmt.execute();    
        return false;  
    }

 

表里面也只有一个字段，如果文件有要插入多个字段就要以文件中的分隔符来分隔，注意点 如不懂可以网上查查 LOAD DATA INFILE的用法…… （本文不是给伸手党准备的，见谅）

这个是springmvc上传文件上后台。然后后处理的controller类中的代码如果下

@RequestMapping(value = "/batchAdd", method = RequestMethod.POST)
    @ResponseBody
    public void batchAdd(@RequestParam(value="addBatchFile",required = false) MultipartFile uploadfile){
    
        String msg = "批量导入出错";
        try {
            long start = System.currentTimeMillis();
            System.out.println(start);
            String name="file"+System.currentTimeMillis()+".txt";
            File file = new File(name);
            uploadfile.transferTo(file);
            
            //此处要注意windows和linux的File.separator不一样…… 这里还要测一下的
            service.test(file.getAbsolutePath().replaceAll("\\\\", "//"));
            long end = System.currentTimeMillis();
            System.out.println(end);
            System.out.println("共花费" +(end-start));
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
　　　　........
    }

这个样插入mysql的500w之内大概3分钟之内能完成。

 

==================优美的分隔线==========================================

百万级的删除

 

        @RequestMapping(value = "/batchDelete", method = RequestMethod.POST)
    @ResponseBody
    public void batchDelete(@RequestParam(value="deleteBatchFile",required = false) MultipartFile uploadfile){
    
    List<String> list = new ArrayList<String>();
        try {
        
                CommonsMultipartFile cf= (CommonsMultipartFile)uploadfile; 
                DiskFileItem fi = (DiskFileItem)cf.getFileItem(); 

                File f = fi.getStoreLocation();
                List<String> data =FileUtils.readLines(f);
                service.updateBatchDel("delete from t_table where terminal_id= ?",data);
                long end = System.currentTimeMillis();
                System.out.println(end);
                System.out.println(end-start);
                        
                code = 0;
        }catch (Exception e){
        }
        return "xxxxxxxx";
    }

service 的代码如下

 public boolean updateBatchDel(String sql,List<String> data){ 
         boolean flag = false; 
         PreparedStatement pstmt = null;
         Connection con = null;
         try {  
             con = jdbcTemplate.getDataSource().getConnection();   
                con.setAutoCommit(false);   
                pstmt = con.prepareStatement(sql);   
                for(int i =0 ;i<data.size();i++){    
                    pstmt.setString(1,data.get(i).trim());   
                    pstmt.addBatch();                  
                }    
                System.out.println("------");
                pstmt.executeBatch(); //批量执行     
                con.commit();//提交事务    
                flag = true;   
            } catch (SQLException e) {   
                try {   
                    con.rollback(); //进行事务回滚    
                } catch (SQLException ex) {  
                    ex.printStackTrace(); 
                }    
            }finally {   
                try {
                    pstmt.close();
                    con.close();
                } catch (SQLException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }  
            }  
            return flag; 
    } 

这样删除百万级的数据也只在2分钟之内。