关于导入数据到Excel中对数据库进行去重以及对导入的Excel文件进行去重

Posted 轻尘如风

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于导入数据到Excel中对数据库进行去重以及对导入的Excel文件进行去重相关的知识,希望对你有一定的参考价值。

插入到数据库去重:

1.将你循环读取的List进行遍历

2.在你即将插入到数据库的方法之前获取你需要查询的数据,执行查询方法

1 devList=deviceDao.findDevice(device.getRfid());
2              if(devList.size()>0){
3                       messageStr = "数据重复,请重新导入!";
4 
5              }else{
6                        deviceDao.save(device);
7                         messageStr = "数据导入成功!";
8                     }

对导入的Excel文件去重:

(1)循环List中的元素对于重复的进行删除

   

1 //循环读取的devList
2 for  ( int  i  =   0 ; i  <  devList.size()  -   1 ; i ++ )  {       
3       for  ( int  j  =  devList.size()  -   1 ; j  >  i; j -- )  {       
4            if  (devList.get(j).equals(devList.get(i)))  {       
5              devList.remove(j);       
6             }        
7         }        
8       }        

(2)通过HashSet去除重复元素

1 //同上,list为获取到Excel数据的list
2 HashSet h = new HashSet(list);   
3 list.clear();   
4 list.addAll(h);

(3)遍历List,看数据是否存在,使用contain

1         List listTemp = new ArrayList();  
2         for(int i=0;i<list.size();i++){  
3             if(!listTemp.contains(list.get(i))){  
4                 listTemp.add(list.get(i));  
5             }  
6         }  

 

以上是关于关于导入数据到Excel中对数据库进行去重以及对导入的Excel文件进行去重的主要内容,如果未能解决你的问题,请参考以下文章

如何高效实现批量插入数据,并去重

关于PHPExcel 导入导出大量数据及导入时判断是不是存在重复

如何将excel导入到datagrid,然后通过db值进行过滤。

求关于php excel导入大数据到mysql的解决办法

【R语言】--- 各类数据的导入

如何将excel中的数据导入hive仓库中