mongoDB(3) mapReduce

2024年1月19日 197次阅读 来源: MapReduce

mapReduce是大数据的核心内容，但实际操作中别用这个，所谓的mapReduce分两步

　　1.map:将数据分别取出，Map函数调用emit(key,value)遍历集合中所有的记录，将key与value传给Reduce函数进行处理

　　2.reduce:负责数据的最后处理，function(key,value){} 参数是map传来的key和value

Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作，有点类似于使用Hadoop对集合数据进行处理，所有输入数据都是从集合中获取，而MapReduce后输出的数据也都会写入到集合中。通常类似于我们在SQL中使用Group By语句一样。

在mongodb中实现mapReduce是复杂度相当高的。

Map函数和Reduce函数是使用Javascript编写的，并可以通过db.runCommand或mapreduce命令来执行MapReduce操作.

db.runCommand(
 { mapreduce : <collection>,
   map : <mapfunction>,
   reduce : <reducefunction>,
   out : <see output options below>
   [, query : <query filter object>]
   [, sort : <sorts the input objects using this key. Useful for optimization, like sorting by the emit key for fewer reduces>]
   [, limit : <number of objects to return from collection, not supported with sharding>]
   [, keeptemp: <true|false>]
   [, finalize : <finalizefunction>]
   [, scope : <object where fields go into javascript global scope >]
   [, jsMode : true]
   [, verbose : true]
 }
);

参数讲解：

　　mapreduce：要操作的目标集合

　　map：映射函数（生成键值对序列，作为Reduce函数的参数） 

　　reduce：统计函数

　　query：目标记录过滤

　　sort：对目标记录排序

　　limit：限制目标记录数量

　　out：统计结果存放集合（如果不指定则使用临时集合，在客户端断开后自动删除）

　　keeptemp：是否保留临时集合

　　finalize：最终处理函数（对reduce返回结果执行最终整理后存入结果集合）

　　scope：向map、reduce、finalize导入外部变量

　　verbose：显示详细的时间统计信息

/*
* 1.map:定义好分组的条件，以及每个集合要取出来的内容
* emit传给了reduce的{key,[value1,value2,value3,……]}
* 2.{sex:'sex'+ this.sex,name:'333'+this.name} 取出来的所有的内容，都给了values [{},{},{},{},{}]
* 3.reduce的key,values,
* key：是emit的第一个值，{sex:this.sex,name:this.name}
* values: 是emit的第二个组成的数组
* */

db.runCommand({
    mapReduce:'logs',
    map:function(){
        emit({sex:this.sex,name:this.name}, {sex:'sex'+ this.sex,age:3+this.age});
    },

    reduce:function(key,values){
 var x = 0;
 values.forEach(function (v) {x += v.age;});
 return {key:key,x:x};
 },
 out:"students_result"
});
/*
{ "_id" : { "sex" : "女", "name" : 0 }, "value" : { "sex" : "sex女", "age" : 23 } }
{ "_id" : { "sex" : "女", "name" : 1 }, "value" : { "sex" : "sex女", "age" : 24 } }
{ "_id" : { "sex" : "女", "name" : 2 }, "value" : { "sex" : "sex女", "age" : 25 } }
{ "_id" : { "sex" : "女", "name" : 3 }, "value" : { "sex" : "sex女", "age" : 26 } }
{ "_id" : { "sex" : "女", "name" : 4 }, "value" : { "sex" : "sex女", "age" : 27 } }
{ "_id" : { "sex" : "女", "name" : 5 }, "value" : { "sex" : "sex女", "age" : 28 } }
{ "_id" : { "sex" : "女", "name" : 6 }, "value" : { "sex" : "sex女", "age" : 29 } }
{ "_id" : { "sex" : "女", "name" : 7 }, "value" : { "sex" : "sex女", "age" : 30 } }
{ "_id" : { "sex" : "女", "name" : 8 }, "value" : { "sex" : "sex女", "age" : 31 } }
{ "_id" : { "sex" : "女", "name" : 9 }, "value" : { "sex" : "sex女", "age" : 32 } }
*/

/*
* key：是emit的第一个值，this.sex
* values: 是emit的第二个组成的数组
* */

db.runCommand({
    mapReduce:'logs',
 map:function(){
 emit(this.sex, {sex:'sex'+ this.sex,age:3+this.age});
 },

 reduce:function(key,values){
 var x = 0;
 values.forEach(function (v) {x += v.age;});
 return {key:key,x:x};
 },
 out:"students_result"
});

//{ "_id" : "女", "value" : { "key" : "女", "x" : 275 } }

 
 

 

 

 

 

 

–

 

 

 

 

      

    原文作者：MapReduce
    原文地址: https://www.cnblogs.com/jay--zhang/p/5990940.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞