hive数据库如何去重，去除相同的一模一样的数据

Posted 2020-11-27 wang3680

问题：发现存在一张表中存在相同的两行数据

得到：仅仅保留一行数据

方法：

原理-我们通过

 1 select count (字段1，字段2) from 表1；
 2 
 3 结果 200条数据
 4 
 5 select count (distinct 字段1，字段2) from 表1；
 6 
 7 结果 100条数据
 8 
 9 相当于后者可以实现查出来去重后的数据
10 
11 create table 表1_bak as select distinct 字段1，字段2 from 表1;   --备份表数据
12 
13 delete from 表1;
14 
15 insert into 表1 select * from 表1_bak；