mongo 删除重复数据

2024年3月7日 115次阅读 来源: zzZ摇篮曲
  1. 无论是组合去重还是单项去重，直接上代码
db.getCollection("huicong_customer_data").aggregate([
    {
        //$group:{_id:{company_name:'$company_name'},count:{$sum:1},dups:{$addToSet:'$_id'}}
        $group:{_id:{company_name:'$company_name',company_info:'$company_info'},count:{$sum:1},dups:{$addToSet:'$_id'}}
    },
    {
        $match:{count:{$gt:1}}
    }

    ]).forEach(function(it){

         it.dups.shift();
            db.getCollection("huicong_customer_data").remove({_id: {$in: it.dups}});

    });
  1. 解释
    使用aggregate聚合查询重复数据

    $group中是查询条件，根据content、endTime、startTime字段来聚合相同的数据；
    $count用来统计重复出现的次数， $match来过滤没有重复的数据；
    $addToSet将聚合的数据id放入到dups数组中方便后面使用；

    查询结果使用forEach进行迭代id来删除数据

    shift()作用是剔除队列中第一条id，避免删掉所有的数据；

    PS:注意函数的大小写，mongoDB是严格区分大小写的！！！

    原文作者：zzZ摇篮曲
    原文地址: https://segmentfault.com/a/1190000020056997
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞