http://my.oschina.net/huzorro/blog/75210
这篇也写的很好
第八章 MapReduce
MongoDB的MapReduce相当于Mysql中的"group by",所以在MongoDB上使用 Map/Reduce 进行并行"统计"很容易。
使用MapReduce要实现两个函数 Map函数和Reduce函数,Map函数调用emit(key, value),遍历collection中所有的记录,将key与value传递给Reduce函数进行处理。Map函数和Reduce函数可以使用JavaScript来实现,可以通过db.runCommand或mapReduce命令来执行一个MapReduce的操作:
参数说明:
l mapreduce: 要操作的目标集合。
l map: 映射函数 (生成键值对序列,作为 reduce 函数参数)。
l reduce: 统计函数。
l query: 目标记录过滤。
l sort: 目标记录排序。
l limit: 限制目标记录数量。
l out: 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
l keeptemp: 是否保留临时集合。
l finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。
l scope: 向 map、reduce、finalize 导入外部变量。
l verbose: 显示详细的时间统计信息。
下面我们先准备一些数据:
db.students.insert({classid:1, age:14, name:'Tom'}); db.students.insert({classid:1, age:12, name:'Jacky'}); db.students.insert({classid:2, age:16, name:'Lily'}); db.students.insert({classid:2, age:9, name:'Tony'}); db.students.insert({classid:2, age:19, name:'Harry'}); db.students.insert({classid:2, age:13, name:'Vincent'}); db.students.insert({classid:1, age:14, name:'Bill'}); db.students.insert({classid:2, age:17, name:'Bruce'});
接下来,我们将演示如何统计1班和2班的学生数量
8.1 Map
Map 函数必须调用 emit(key, value) 返回键值对,使用 this 访问当前待处理的 Document。
map后的数据就变为:
db.students.insert({classid:1, age:14, name:'Tom'}); =>(1,1) db.students.insert({classid:1, age:12, name:'Jacky'}); =>(1,1) db.students.insert({classid:2, age:16, name:'Lily'}); =>(2,1) db.students.insert({classid:2, age:9, name:'Tony'}); =>(2,1) db.students.insert({classid:2, age:19, name:'Harry'});=>(2,1) db.students.insert({classid:2, age:13, name:'Vincent'});=>(2,1) db.students.insert({classid:1, age:14, name:'Bill'});=>(1,1) db.students.insert({classid:2, age:17, name:'Bruce'});=>(2,1)
value 可以使用 JSON Object 传递 (支持多个属性值)。例如:
emit(this.classid, {count:1})
8.2 Reduce
Reduce函数接收的参数类似 Group 效果,将 Map 返回的键值序列组合成 { key, [value1, value2, value3, value...] } 传递给 reduce。
以上例子结果将变为:
{1,[1,1,1]}
{2,[1,1,1,1]}
Reduce 函数对这些 values 进行 "统计" 操作,返回结果可以使用 JSON Object。
8.3 Result
mapReduce() 将结果存储在 "students_res" 表中。
8.4 Finalize
利用 finalize() 我们可以对 reduce() 的结果做进一步处理。
我们再重新计算一次,看看返回的结果:
列名变与 “classid”和”count”了,这样的列表更容易理解。
8.5 Options
我们还可以添加更多的控制细节。
可以看到先进行了过滤,只取age<10的数据,然后再进行统计,所以就没有1班的统计数据了。