mysql 对某几个字段去重

Posted 2023-04-03

mysql 对某几个字段去重
比如select id,a,b,c from table;
现在怎么对id,和a同时相同的字段去重。
用distinct只能对id,a,b,c全相同的去重，各位有什么好得办法没。

-------------------部分字段重复---------------------
--1.加索引的方式
create table test_2(id int,value int);
insert test_2 select 1,2 union all select 1,3 union all select 2,3;
Alter IGNORE table test_2 add primary key(id);
select * from test_2;
+----+-------+
| id | value |
+----+-------+
| 1 | 2 |
| 2 | 3 |
+----+-------+
我们可以看到 1 3 这条记录消失了
我们这里也可以使用Unique约束 因为有可能列中有NULL值，但是这里NULL就可以多个了..
--2.联合表删除
create table test_2(id int,value int);
insert test_2 select 1,2 union all select 1,3 union all select 2,3;
delete A from test_2 a join (select MAX(value) as v ,ID from test_2 group by id) b
on a.id=b.id and a.value<>b.v;
select * from test_2;
+------+-------+
| id | value |
+------+-------+
| 1 | 3 |
| 2 | 3 |
+------+-------+
--3.使用Increment_auto也可以就是上面全部字段去重的第二个方法
--4.容易错误的方法
--有些朋友可能会想到子查询的方法，我们来试验一下
create table test_2(id int,value int);
insert test_2 select 1,2 union all select 1,3 union all select 2,3;
delete a from test_2 a where exists(select * from test_2 where a.id=id and a.value<value);
/*ERROR 1093 (HY000): You can't specify target table 'a' for update in FROM clause*/

目前，您不能从一个表中删除，同时又在子查询中从同一个表中选择。 参考技术A 分组下不就行了，delete from table where rowid not in (selelct max(rowid) from table group by id,a);
这样就把重复的数据删掉了。本回答被提问者和网友采纳 参考技术B 提供个思路，用select a,b,c,count(distinct id) from table可以只对id相同的去重

mysql DISTINCT去重，返回去重后的所有字段

一天一个mysql小技巧

问题：distinct 对某一字段去重，返回记录所有字段值，但是记录其它字段也有重复值，导致无法返回。
描述：
在使用mysql时，有时需要查询出某个字段不重复的记录，distinct 关键字可以过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回所有值。其原因是 distinct只能返回它的目标字段，而无法返回其它字段。用distinct不能解决的话，我只有用二重循环查询来解决，而 这样对于一个数据量非常大的站来说，无疑是会直接影响到效率的。

例如：

  table
  id name
  1 a
  2 b
  3 c
  4 c
  5 b

例如 ：

select distinct name, id from table

结果会是:

  id name
  1 a
  2 b
  3 c
  4 c
  5 b

解决方法1:

取其他字段的最大值max()或者最小值min(), distinct字段注意放前面

select distinct name, min(id) from table group by name

结果

  name id 
   a 1
   b 2
   c 3

group_concat

当然也可以使用 group_concat 函数，将不重复的其他字段拼接起来

select distinct name,group_concat(id) from table group by name

结果

  name id 
   a 1
   b 2,5
   c 3,4

解决方法2

select *, count(distinct name) from table group by name

注意：group by 必须放在 order by 和 limit之前，不然会报错
结果:

  id name count(distinct name)
  1 a 1
  2 b 1
  3 c 1

参考：
http://www.bubuko.com/infodetail-2509230.html
https://blog.csdn.net/q669239799/article/details/80933866