数据库删除重复数据

Posted 2020-09-29 艾特水煮鱼

第一，数据库中实体重复的解决方法。

 

实体重复也就是完全重复：即表中两行记录完全一样的情况。这类数据重复就需要删除一条记录，解决方法比较简单，具体操作如下：

 

使用select distinct * from tableName就可以得到无重复记录的结果集。
如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

第二，数据库中字段重复的解决方法。

 

字段重复，这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下：

方法一：假设有重复的字段为Name要求得到这个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列，如果要删除库里的重复数据，只要将对应的delectable或drop掉就可以了）。

方法二：保留重复数据中最新的一条记录，操作方法如下：
在Oracle中，rowid是隐藏字段，用来唯一标识每条记录。所以，只要保留重复数据中rowid最大的一条记录就可以了。　　
查询重复数据: 
select a.rowid,a.* from 表名 a 
where a.rowid != ( 
select max(b.rowid) from 表名 b 
where a.字段1 = b.字段1 and a.字段2 = b.字段2 ); 　　 
例：selete from dba_tables a 
where a.rowid!=( 
select max(rowid) from test b 
where a.owner=b.owner);

 

方法三：删除重复数据，只保留最新的一条数据，操作方法如下：
delete from 表名 a 
where a.rowid != ( 
select max(b.rowid) from 表名 b 
where a.字段1 = b.字段1 and a.字段2 = b.字段2 )