删除重复的数据(完全一致的重复)

Posted jams742003

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了删除重复的数据(完全一致的重复)相关的知识,希望对你有一定的参考价值。

MSsql

遗留的数据表中存在大量重复的记录,这些重复的数据的特点是:包括标识ID在内,所有数据列都一样,即完全一致的重复。如何去掉重复的记录,例如2条相同的数据 ,ID,各个字段都完全相同,无法在现有数据 上把这两条数据 区分开,需要可以分别开来的字段,

具体步骤如下:

--1 添加临时标识字段 

1 alter table [表名] 
2 add idd varchar(50)

 

 

--2 更新此字段,这样就能区分数据

1 update [表名] set idd=NEWID()

 

--3删除重复的,通过原标识 id分组,数据大于1的,取最小的一条删除

1 delete from [表名] where idd  in(select min(idd) from [表名] group by id having(COUNT(*)>1) )

 

--4 删除增加的临时列

1 alter table [表名]
2 drop column idd

 

以上为删除的方法。

此方法只删除了重复数为2的记录,如果有更多重复的记录,可以把3多运行几次。

删除之前注意备份数据。

 

以上是关于删除重复的数据(完全一致的重复)的主要内容,如果未能解决你的问题,请参考以下文章

《工具箱-数据库相关》Dbeaver高级复制功能解决“少量数据完全重复“

mysql删除完全重复行,求教

删除数据库中重复数据

从 git 数据库中完全删除提交 [重复]

arcgis删除两个完全重叠字段

如何删除在 R 中不完全重复的行