mongo 删除重复数据

  1. 无论是组合去重还是单项去重,直接上代码
db.getCollection("huicong_customer_data").aggregate([
    {
        //$group:{_id:{company_name:'$company_name'},count:{$sum:1},dups:{$addToSet:'$_id'}}
        $group:{_id:{company_name:'$company_name',company_info:'$company_info'},count:{$sum:1},dups:{$addToSet:'$_id'}}
    },
    {
        $match:{count:{$gt:1}}
    }

    ]).forEach(function(it){

         it.dups.shift();
            db.getCollection("huicong_customer_data").remove({_id: {$in: it.dups}});

    });
  1. 解释
    使用aggregate聚合查询重复数据

    $group中是查询条件,根据content、endTime、startTime字段来聚合相同的数据;
    $count用来统计重复出现的次数, $match来过滤没有重复的数据;
    $addToSet将聚合的数据id放入到dups数组中方便后面使用;

    查询结果使用forEach进行迭代id来删除数据

    shift()作用是剔除队列中第一条id,避免删掉所有的数据;

    PS:注意函数的大小写,mongoDB是严格区分大小写的!!!

    原文作者:zzZ摇篮曲
    原文地址: https://segmentfault.com/a/1190000020056997
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞