基于Gearman的MapReduce分布式计算

============================================================================

原创作品,允许转载。转载时请务必以超链接形式标明原始出处、以及本声明。

请注明转自:http://yunjianfei.iteye.com/blog/

============================================================================

       针对大数据的处理,我们无非采用“分而治之”的策略,2004年goole的<MapReduce: Simplified Data Processing on Large Clusters>这个论文提出并阐述了MapReduce的概念。再到之后的开源版本Hadoop的出现,以及今天的大规模使用。

      最近一直在做分布式计算方面的事情。一说起这个,大家难免想到hadoop,目前hadoop2.2已经非常的强大,能做非常多的事情。但是有时候针对一些业务模型显得过于庞大何臃肿。

     Gearman是一套非常不错的分布式处理框架,灵活的架构,轻量级的设计,强大的分发功能,以及各个语言的支持,都让人眼前一亮。

      最近调研的时候,在slides上发现了非常不错的资源,在这里分享给大家,主要是使用Perl + Gearman 实现了MapReduce的一个demo,这个对于我们做分布式计算和开发大有好处,希望大家好好看一下。里面是包含PPT和demo源码的。

      至于Gearman的学习,网上有很多的资料,或者直接去官网http://gearman.org/getting-started/ 

我这里就不再重复了。

    附件中基于Gearman的MapReduceDemo.rar 是包含ppt和源码的。

   mapreduce-osdi04.pdf 是google的那么mapreduce论文。

   

猜你喜欢

转载自yunjianfei.iteye.com/blog/2017220