MongoDB数据重复解决方案

Posted chen1997

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MongoDB数据重复解决方案相关的知识,希望对你有一定的参考价值。

当我们在测试阶段时难免会出现一些程序写错,导致数据重复,本人因为这个问题,倒腾了几天,刚开始的思路是写脚本,因为自己语言学的太菜,导致连一个定义的公式都没想出来,后来是利用MongoDB里面的聚合解决的。

  下面我以一个小实例来讲把:

技术图片

 

不难看出,姓名有出现重复的现象,少的情况我们可以逐个删除,当数据量达到几百万,几千万的时候估计大家有些发愁了,应该会有些朋友会想到写脚本去筛选然后删除这些重复的数据把,其实可以利用MongoDB中的聚合去删除重复的数据

技术图片

 第一个括号是:相同数据的字段

第二个括号是:操作相对应的文档

然后我依次向大家解释是什么意思:

aggregate:(聚合管道)

1.group只会返回参与分组的字段

2.根据name分组统计数量

3.$match匹配数量大于1的数据

4.doc.dups.shift();表示从数组第一个值开始删除;作用是踢除重复数据其中一个_id,让后面的删除语句不会删除所有数据
5.使用forEach循环根据_id删除数据
 
$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中,$addToSet返回,不会修改数组。

技术图片

 

 

 技术图片

数据重复name字段已经删除。

 

以上是关于MongoDB数据重复解决方案的主要内容,如果未能解决你的问题,请参考以下文章

无法对 MongoDB 使用弹簧验证 [重复]

如何向mongodb中插入不重复的数据

避免使用mongodb重复文档而不使用唯一索引

分页功能设计(解决数据重复问题)

MongoDB运行错误[重复]

删除内部字段数组 MongoDb 的元素 [重复]