Oracle海量数据（1000w+）重复数据删除方法

Posted 2020-11-29 老萌新码客

方法1：delete from xxx(表名) where rowid not in（ select max/min(rowid) from xxx(表名) group by xxx(需要去重的列名，可以跟逗号实现多个列名去重))。

此方法采用直接删除的方法。但是效率比较低，数据量小的话可以使用。对于超过100w的数据推荐用方法2.

方法2：create table xxx(自定义表名) as select *(如果只需要部分列就直接把需要的列写出来) from xxx（表名）where rowid in (select max/min(rowid) from xxx(表名) group by xxx(需要去重的列名，可以跟逗号实现多个列名去重)) 

此方法采用将非重复数据导出至中间表的方法。可将原表drop，中间表重命名。也可以将中间表数据再导回至原表（暂未实践）。此方法效率较方法1效率有极大的提高。推荐用此方法。