Mongodb删除重复数据

Posted 啦啦啦啦

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mongodb删除重复数据相关的知识,希望对你有一定的参考价值。

假如有以下的数据表。

db.user

{

  account:String //账号

}

删除有重复account的记录。

首先,查找一下是否有重复的数据,也就是user表是否有重复的account.

按account进行分组,计算每个分组的记录数,记录数大于1的,就说明存在重复。

db.user.aggregate(

  [{
    $group: {_id:"$account",count:{$sum:1}}
  },
  {
    $match: {count:{$gt:1}}
  }])
如果查询有结果,那么说明存在重复记录。

 

那下一步做删除处理。

db.user.aggregate([{
  $group: {

    _id:"$account",

    count:{$sum:1},

    ids:{$addToSet: "$_id"}}, //把符合的记录的id放到一个数组里
  },
  {
    $match: {count:{$gt:1}}
  }
  ],

  { allowDiskUse: true } //该行是为了$group里的sort超出内存限制

).forEach((doc)=>{ //得到重复的结果,循环记录进行删除
  doc.ids.shift();//保留一行记录,如果需要全部删除重复的,去掉该行
  db.user.remove({_id:{$in:doc.ids}})//根据重复id删除指定的记录
})

 


















以上是关于Mongodb删除重复数据的主要内容,如果未能解决你的问题,请参考以下文章

mongodb删除重复数据

MongoDB数据重复解决方案

mongodb去重

Python列表问题:只想获取数据并删除字段的标题[重复]

MongoDB:从 Projection 中删除重复记录

映射减少以删除重复项(mongodb)