大数据处理-序

  这一个月来,都在忙大数据处理的项目,主要接触了Hadoop系列,如MapReduce V1, HDFS, Hbase, Hive, Yarn(MapReduce V2) 和 Hyracks,另外一个开源框架,号称速度提升是MapReduce的几倍.
   经过一段时间的使用和测试,感觉Hadoop系列已经做得很好,很成熟了,同时又逐渐形成了一个以HDFS,HBase为中心的套生态系统。很多商用公司也花了不少精力去研究,扩展它,我想在不远的将来,Hadoop系列将会成为基础架构的非常重要的部分,所以现在赶快多了解了解吧,你会有些新的发现的。
   后面,如果有时间的话,会写一些关于MapReduce调优方面的经验,关键是要调清楚每个参数对整个Job的影响会有哪些,这样可以从不同层面上了解MapReduce是怎么运作的。

猜你喜欢

转载自djava-sohu-com.iteye.com/blog/1849157