问题整理MySQL大量数据去重处理

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了问题整理MySQL大量数据去重处理相关的知识,希望对你有一定的参考价值。

    由于工作中需要进行数据去重,所以做一下记录,其实是很小白的问题。。。。

    其实对于数据去重来讲,最好的是在设计程序和数据库的时候就考虑到数据冗余问题,不插入重复的数据。但是呢,,,这个项目,如果其中的两个字段同时重复,就算冗余,但是还需要自增长的id作为主键方便查询。。。。so。。。算了,我写完数据自己去重吧。。。

    因为有大量的重复数据,所以选择的去重方法是通过聚合函数建立一个新的表,然后重命名。sql代码如下:

    

create table tmp select * from table_name group by column1,column2;

然后呢,因为删除过大量数据,所以id都快到600000了。。。看着太碍眼了,所以把id变成从1 开始了。方法是先把id字段删除了,然后再增加id字段并设为自增长,好了,终于看着舒心了。。。三十多万的数据去重后大概十八条数据,用时70s,估计几千万数据的时候我就该哭了,anyway,到时再说,继续想想有什么好办法。

本文出自 “11287515” 博客,请务必保留此出处http://11297515.blog.51cto.com/11287515/1957085

以上是关于问题整理MySQL大量数据去重处理的主要内容,如果未能解决你的问题,请参考以下文章

mysql碎片处理_mysql碎片整理

mysql 多个字段有重复数据, 我需要进行去重处理

爬虫日记(61):Scrapy的数据去重处理管道

Mysql 存储引擎中InnoDB与MyISAM差别(网络整理)

常用python日期日志获取内容循环的代码片段

mysql数据库之去重