MongoDB权威指南(5)- 聚合

除了基本的查询功能外,mongoDB还提供了聚合工具,从简单的计数到使用MapReduce进行复杂数据的分析等。

1.count

最简单的聚合工具就是count了,它返回document的数量

>  db.foo.count()
0
>  db.foo.insert({ " x "  :  1 })
>  db.foo.count()
1

也可以传递一个查询条件,计算符合条件的结果个数

>  db.foo.insert({ " x "  :  2 })
>  db.foo.count()
2
>  db.foo.count({ " x "  :  1 })
1


2.distinct

distinct命令返回指定的key的所有不同的值。你必须指定一个collection和一个key。

>  db.runCommand({ " distinct "  :  " people " " key "  :  " age " })

假设我们的collection里的document是这样子的:

{ " name "  :  " Ada " " age "  :  20 }
{
" name "  :  " Fred " " age "  :  35 }
{
" name "  :  " Susan " " age "  :  60 }
{
" name "  :  " Andy " " age "  :  35 }

那么返回的结果就是

>  db.runCommand({ " distinct "  :  " people " " key "  :  " age " })
{
" values "  : [ 20 35 60 ],  " ok "  :  1 }


3.group

group提供了更加复杂的聚合功能,它跟SQL里边的group by很类似,你需要指定一个group by的key,mongoDB按照这个key的值把collection分成不同的组,经过聚合后每个组都产生一个结果document。

假设我们有一个站点用来跟踪股票价格,从上午10点到下午4点,每隔几分钟就会有最新的股票价格存储进数据库,作为报表程序的一部分,我们想找出过去30天的收盘价,使用group就可以很容易做到。

股票价格的collection里有成千上万条纪录,格式如下:

{ " day "  :  " 2010/10/03 " " time "  :  " 10/3/2010 03:57:01 GMT-400 " " price "  :  4.23 }
{
" day "  :  " 2010/10/04 " " time "  :  " 10/4/2010 11:28:39 GMT-400 " " price "  :  4.27 }
{
" day "  :  " 2010/10/03 " " time "  :  " 10/3/2010 05:00:23 GMT-400 " " price "  :  4.10 }
{
" day "  :  " 2010/10/06 " " time "  :  " 10/6/2010 05:27:58 GMT-400 " " price "  :  4.30 }
{
" day "  :  " 2010/10/04 " " time "  :  " 10/4/2010 08:34:50 GMT-400 " " price "  :  4.01 }

我们想要的是每天里边最后成交的那个价钱,结果应该是像下边这样

[
{
" time "  :  " 10/3/2010 05:00:23 GMT-400 " " price "  :  4.10 },
{
" time "  :  " 10/4/2010 11:28:39 GMT-400 " " price "  :  4.27 },
{
" time "  :  " 10/6/2010 05:27:58 GMT-400 " " price "  :  4.30 }
]

那么我们就应该按day分组,找到每组里时间戳最新的记录,把它放到结果集里

>  db.runCommand({ " group "  : {
... 
" ns "  :  " stocks " ,
... 
" key "  :  " day " ,
... 
" initial "  : { " time "  :  0 },
... 
" $reduce "  :  function (doc, prev) {
...   
if  (doc.time  >  prev.time) {
...     prev.price 
=  doc.price;
...     prev.time 
=  doc.time;
...   }
... }}})
  • "ns" : "stocks"
    指定对哪个collection运行group命令
  • "key" : "day"
    指定按那个key进行分组
  • "initial" : {"time" : 0}
    累计器初始值,每个分组第一次调用reduce方法的时候传递给它的值,在一个分组里边,始终使用同一个累计器,对累计器的修改会被保持下来。
  • "$reduce" : function(doc, prev) { ... }
    collection里的每个document,都要对之调用reduce方法,传递两个参数给它,第一个是当前的document,第二个是累计器 document,累计器document就是到目前为止分组内的计算结果。(ps:不知道它为啥起个名字叫prev,使用total啊 accumulation之类的不是更容易理解些,我一眼看上去还以为是前一个document。)我们这个例子里,使用reduce方法来比较当前的 document和累计器document的时间,如果当前document的时间更靠后些的话,就是用当前document的值替换累计器 document的值。因为每个组都有各自的累计器,勿需担心日期的不同对累计器的影响。

先前我们说的是取最近30天的价格,我们可以加一个条件,满足条件的才会处理

>  db.runCommand({ " group "  : {
... 
" ns "  :  " stocks " ,
... 
" key "  :  " day " ,
... 
" initial "  : { " time "  :  0 },
... 
" $reduce "  :  function (doc, prev) {
... 
  if  (doc.time  >  prev.time) {
...     prev.price 
=  doc.price;
...     prev.time 
=  doc.time;
... }},
... 
" condition "  : { " day "  : { " $gt "  :  " 2010/09/30 " }}
... }})

如果某些document没有day这个键的话,它们就会被归入到day:null这个组,你可以给condition加个条件"day" : {"$exists" : true}来排除这个组。

使用终结器(Finalizer)

终结器用于最小化从数据库到用户的数据,我们看一个博客的例子,每篇博客都有几个标签,我们想找出每天最流行的标签是什么。那么我们按照日期进行分组,对每个标签计数:

>  db.posts.group({
... 
" key "  : { " tags "  :  true },
... 
" initial "  : { " tags "  : {}},
... 
" $reduce "  :  function (doc, prev) {
...   
for  (i  in  doc.tags) {
... 
    if  (doc.tags[i]  in  prev.tags) {
...       prev.tags[doc.tags[i]]
++ ;
...     } 
else  {
...       prev.tags[doc.tags[i]] 
=   1 ;
...     }
...   }
... }})

返回的结果是下边这个样子

[
{
" day "  :  " 2010/01/12 " " tags "  : { " nosql "  :  4 " winter "  :  10 " sledding "  :  2 }},
{
" day "  :  " 2010/01/13 " " tags "  : { " soda "  :  5 " php "  :  2 }},
{
" day "  :  " 2010/01/14 " " tags "  : { " python "  :  6 " winter "  :  4 " nosql " 15 }}
]

实际上我们需要的只是值最大的那个标签,并不需要将整个tags返回给客户端,这就是group命令里可选的键"finalize"存在的原因。 finalize指定一个函数,在结果返回给客户端之前,每个分组都会执行一次这个函数。我们使用finalize来去掉不需要的部分。

>  db.runCommand({ " group "  : {
... 
" ns "  :  " posts " ,
... 
" key "  : { " tags "  :  true },
... 
" initial "  : { " tags "  : {}},
... 
" $reduce "  :  function (doc, prev) {
...   
for  (i  in  doc.tags) {
... 
    if  (doc.tags[i]  in  prev.tags) {
...       prev.tags[doc.tags[i]]
++ ;
...     } 
else  {
...       prev.tags[doc.tags[i]] 
=   1 ;
...     }
...   },
... 
" finalize "  :  function (prev) {
... 
  var  mostPopular  =   0 ;
...   
for  (i  in  prev.tags) {
...     
if  (prev.tags[i]  >  mostPopular) {
...       prev.tag 
=  i;
...       mostPopular 
=  prev.tags[i];
...     }
...   }
... 
  delete  prev.tags
... }}})

 

使用函数作为分组key

有些情况下,你可能需要更复杂的分组规则,不是一个简单的key,那么你就可以用"$keyf"来定义一个分组函数。

>  db.posts.group({ " ns "  :  " posts " ,
... 
" $keyf "  :  function (x) {  return  x.category.toLowerCase(); },
... 
" initializer "  : ... })


4.MapReduce

MapReduce可是聚合工具里的高级武器,其他工具能做的它能做,其他工具做不了的它也能做。MapReduce是一个在多个服务器间可以并行执行的聚合方法,它将问题分割成多个块,发送给不同的机器,让每个机器解决自己的部分,当所有的机器都完成之后,把所有的结果都合并起来。(ps:这说的貌似 MapReduce最原初的概念,感觉跟我们下边的内容关系不大)

MapReduce分两步完成,第一步是映射(Map),将document里的键值投射为一组其他的键值对,第二步是精简(Reduce),将投射出来的键值对按照键合并,每个键最后只有一个值。(ps:这是我的理解,书上写的太拗口)

使用MapReduce的代价是速度,group的速度就不咋地,MapReduce更慢,所以一般都是作为后台任务执行,完成之后对其结果collection进行查询。

例子1:找出collection里所有的key

使用MapReduce解决这个问题确实是杀鸡用牛刀,我们主要是看看MapReduce是如何工作的。MongoDB是无结构的,所以它不会跟踪 document里都有哪些key,我们在这个示例里对collection里的每个key的使用次数进行计数,不包括嵌入的document的key。

第一步,映射(Map)使用一个特殊的函数来返回值,这些值后边接下来处理,这个特殊函数就是emit。emit给MapReduce一个key和一个 value,我们这个例子里,我们将document的每个key投射为一个记录其出现次数的数量{count : 1},因为我们要分别记录每个key的出现次数,所以就需要对每个key调用emit函数。

>  map  =   function () {
... 
for  ( var  key  in   this ) {
...   emit(key, {count : 
1 });
... }};

现在我们就有了很多的{count : 1},每个都和collection里的一个key关联,相同key的这些{count : 1}构成一个数组被传递给reduce函数,reduce函数有两个参数,第一个是key,就是emit的第一个参数,第二个是数组,包含了被投射在这个 key上的所有{count : 1} 。

>  reduce  =   function (key, emits) {
... total 
=   0 ;
... 
for  ( var  i  in  emits) {
...   total 
+=  emits[i].count;
... }
... 
return  { " count "  : total};
... }

对来自映射阶段或者前边的reduce阶段的结果,reduce函数必须能够对其重复调用,所以reduce返回的document必须能够重新传递给reduce函数(作为第二个参数)。

MapReduce函数的调用结果如下:

>  mr  =  db.runCommand({ " mapreduce "  :  " foo " " map "  : map,  " reduce "  : reduce})
{
" result "  :  " tmp.mr.mapreduce_1266787811_1 " ,
" timeMillis "  :  12 ,
" counts "  : {
  " input "  :  6
  " emit "  :  14
  " output "  :  5
},
" ok "  :  true
}
  • "result" : "tmp.mr.mapreduce_1266787811_1"
    存储MapReduce结果的collection的名字,这是个临时的collection,连接关闭后即被删除。我们可以指定一个好听点的名字,并将这个collection永久保存,稍后会讲到。
  • "timeMillis" : 12
    操作花费的时间,单位毫秒
  • "counts" : { ... }
    "input" : 6    传递给map函数的document数量
    "emit" : 14    map函数中调用emit函数的次数
    "output" : 5   结果集collection中document的数量

对结果集collection执行查询就可以看到所有的key和出现次数了

>  db[mr.result].find()
" _id "  :  " _id " " value "  : {  " count "  :  6  } }
" _id "  :  " a " " value "  : {  " count "  :  4  } }
" _id "  :  " b " " value "  : {  " count "  :  2  } }
" _id "  :  " x " " value "  : {  " count "  :  1  } }
" _id "  :  " y " " value "  : {  " count "  :  1  } }


例子2:对网页分类

假设我们有个网站,用户可以提交通向其他页面的链接,用户可以给链接添加一些标签标明这个链接和特定的主题关联,如"政治","极客”,"icanhascheezburger"等。(ps:icanhascheezburger是个网站,主题内容是些搞笑的猫咪图片,配些文字说明)我们可以用MapReduce找出那些主题是最近流行的。

首先,我们需要一个map函数,根据流行程度和最新程度将标签投射为一个值。

map  =   function () {
  for  ( var  i  in   this .tags) {
    var  recency  =   1 / (new Date() - this.date);
    var  score  =  recency  *   this .score;

    emit(
this .tags[i], { " urls "  : [ this .url],  " score "  : score});
  }
};

然后,我们将投射到每个标签的值精简为一个值

reduce  =   function (key, emits) {
  var  total  =  {urls : [], score :  0 }
  for  ( var  i  in  emits) {
    emits[i].urls.forEach(
function (url) {
    total.urls.push(url);
  }

    total.score 
+=  emits[i].score;
  }
  return  total;
};

这样,结果集里就包含了每个标签的一个url列表和一个标识其流行度的总得分。

ps:

我们和关系数据库比较一下更容易看到它的关键之处,关键之处就在于emit函数的第一个参数,sql中使用"group by 字段"进行分组,字段的每个不同值就是一个组,而MapReduce中是使用emit为每个字段不同值创建一个key和一个值的数组。简单说,sql的 group by用的是字段名,emit用的是字段的值。明显MapReduce更加灵活强大一些。


mongoDB和MapReduce

使用MapReduce命令,除了指定mapreduce,map,reduce这三个必须的键之外,还有很多其他的可选的键。

  • "finalize" : function
    终结器函数,接受reduce的输出
  • "keeptemp" : boolean
    连接关闭后是否保存临时结果集collection
  • "output" : string
    输出collection的名字,使用此选项意味着keeptemp为true
  • "query" : document
    查询条件,过滤传递给map函数的document
  • "sort" : document
    发送给map函数前对document进行排序,经常是和limit联用
  • "limit" : integer
    发送给map函数的document的最大数量
  • "scope" : document
    在javascript代码中可以使用的变量
  • "verbose" : boolean
    是否输出更详细的服务器日志

使用scope

如果在MapReduce中使用客户端的值,那就必须使用scope选项了。你只需要传递给scope一个 变量名:值 格式的document就可以了,然后这个值在map,reduce以及finalize函数中就可以使用了。这个变量的值在各个函数中是只读的。

比如,刚才我们第二个例子中计算页面的最新性时使用的是1/(new Date() - this.date),如果我们想不使用new Date(),而是把当前日期传递进来的话,就可以定义个叫now的变量

>  db.runCommand({ " mapreduce "  :  " webpages " " map "  : map,  " reduce "  : reduce,
" scope "  : {now :  new  Date()}})

然后在map函数里就可以用1/(now - this.date)了。

来源:http://www.open-open.com/lib/view/open1328162150984.html

猜你喜欢

转载自onelark.iteye.com/blog/1454957
今日推荐