如何在数据库中查询出重复记录

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何在数据库中查询出重复记录相关的知识,希望对你有一定的参考价值。

现在有一个表,要根据其中一个字段的查询出共有几条不重复记录(重复记录算一条)
但重复记录的判定有点不一样。比如一条记录是“张三”,另一条是“张三 李四”,还有一条是“李四”,又一条是“李四 王五”,最后一条是“张三 李四 王五”,判断不重复的记录是2条。判定标准是比较第一个空格前的字符是否相等,比如“张三”和“张三 李四”以及“张三 李四 王五”是重复的,“李四”和“李四 王五”是重复的。
想问一下这样的SQL语句要怎么写?
第三位说可以在SQL截取字符串,请问要如何截取啊?

最后是不是要得到排除重复后的值即只剩下李四和张三这两条记录?可以用下面的SQL语句实现
1.创建测试环境
create table Repeat
(
username varchar(50)
)
delete from Repeat
insert into Repeat
values('张三')
insert into Repeat
values('张三 李四')
insert into Repeat
values('李四')
insert into Repeat
values('李四 王五')
insert into Repeat
values('张三 李四 王五')
2.实现(排除重复)
select username
from Repeat
where CHARINDEX(' ',username)=0
union
select left(username,a.weizhi-1)as username
from
(
select *,weizhi=CHARINDEX(' ',username)
from Repeat
where CHARINDEX(' ',username)>0
)as a
参考技术A 看看那个是你想要的 自己试试
with t as (
select '张三' as a from dual union all
select '张三 李四' from dual union all
select '李四' from dual union all
select '张三 李四 王五' from dual union all
select '李四 王五' from dual
)select ( case when instr (t.a, ' ',1) > 0 then substr(t.a,1, instr (t.a, ' ',1) ) else t.a end ) as a from t
;
with t as (
select '张三' as a from dual union all
select '张三 李四' from dual union all
select '李四' from dual union all
select '张三 李四 王五' from dual union all
select '李四 王五' from dual
)select ( case when instr (t.a, ' ',1) > 0 then substr(t.a,1, instr (t.a, ' ',1)-1 ) else t.a end ) as a from t ;

with t as (
select '张三' as a from dual union all
select '张三 李四' from dual union all
select '李四' from dual union all
select '张三 李四 王五' from dual union all
select '李四 王五' from dual
)select distinct ( case when instr (t.a, ' ',1) > 0 then substr(t.a,1, instr (t.a, ' ',1)-1 ) else t.a end ) as a from t
参考技术B 就是一个截取字串的动作 参考技术C 假设表为TB_user,列名user_names
select count(*) from (select distinct * from
(select left(user_names,CHARINDEX(N' ',user_names,1)-1) user_name from TB_user ) as TB_temp) as temp2;
这里 user_name,ct 是结果别名;TB_temp是left函数处理出来数据集的别名。
应该是这个样子的了,你试试。

sql 查出一张表中重复的所有记录数据

1、在面试的时候碰到一个 问题,就是让写一张表中有id和name 两个字段,查询出name重复的所有数据,现在列下:

select * from xi a where (a.username) in  (select username from xi group by username  having count(*) > 1)

2、查询出所有数据进行分组之后,和重复数据的重复次数的查询数据,先列下:

select  count(username) as ‘重复次数‘,username from xi group by username  having count(*)>1 order by username desc

3、一下为 查看别人的 结果,现列下:查询及删除重复记录的方法大全


1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断

select * from people
where peopleId in (select  peopleId  from  people  group  by  peopleId  having  count(peopleId) > 1)

2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录

delete from people 
where peopleId  in (select  peopleId  from people  group  by  peopleId   having  count(peopleId) > 1)
and rowid not in (select min(rowid) from  people  group by peopleId  having count(peopleId )>1)

3、查找表中多余的重复记录(多个字段) 

select * from vitae a
where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq  having count(*) > 1)

4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录

delete from vitae a
where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录

select * from vitae a
where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

(二)

比方说
在A表中存在一个字段“name”,
而且不同记录之间的“name”值有可能会相同,
现在就是需要查询出在该表中的各记录之间,“name”值存在重复的项;

Select Name,Count(*) From A Group By Name Having Count(*) > 1

如果还查性别也相同大则如下:

Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1

(三)

方法一

技术分享图片
declare @max integer,@id integer
declare cur_rows cursor local for 
select 主字段,count(*) from 表名 group by 主字段 having count(*) >;
open cur_rows fetch cur_rows into @id,@maxwhile @@fetch_status=0
begin
    select @max = @max -1
    set rowcount @max
    delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@maxend
close cur_rows
set rowcount 0
技术分享图片

方法二"重复记录"有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。


  1、对于第一种重复,比较容易解决,使用

select distinct * from tableName

就可以得到无重复记录的结果集。  

如果该表需要删除重复的记录(重复记录保留1条),

可以按以下方法删除

select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp

发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。


  2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下  假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集

select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2) 

最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)


(四)
查询重复

select * from tablename where id in (select id from tablenamegroup by idhaving count(id) > 1)








以上是关于如何在数据库中查询出重复记录的主要内容,如果未能解决你的问题,请参考以下文章

sql查询去掉重复记录

mysql 去除重复 Select中DISTINCT关键字的用法 在使用mysql时,有时需要查询出某个字段不重复的记录,虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留

oracle查询重复数据方法

SQL某一表中重复某一字段重复记录查询与处理

mysql千万级数据量查询出所有重复的记录

mysql千万级数据量查询出所有重复的记录