Hadoop v2 时代正式到来()

转载自:http://www.iteye.com/news/28387

Apache基金会近日正式发布了Hadoop 2.2版本,该版本是Hadoop 2.x分支中的首个稳定版本(2.0.x为alpha版本,2.1.x为beta版本),标志着Hadoop 2时代的正式到来。


Apache建议用户升级至最新版本,因为这个版本更加稳定,并保持与之前版本API和相关协议条款的兼容。与Hadoop 1.x相比,Hadoop 2的主要亮点如下:

  • 新的Hadoop MapReduce框架YARN
  • HDFS高可用性
  • HDFS Federation(HDFS联盟):使得HDFS支持多个命名空间,并且允许在HDFS中同时存在多个Name Node
  • HDFS快照
  • NFSv3可访问HDFS中的数据
  • 支持在Windows平台上运行Hadoop
  • 兼容基于Hadoop 1.x构建的MapReduce应用
  • 大量针对生态系统中其他项目的集成测试

此外,从Hadoop 1.x升级到2.2需要注意以下事情:

  • HDFS社区建议将symlinks功能从2.3版本中移除,目前该功能已停用
  • 在新的YARN/MapReduce中,用户需要更改ShuffleHandler服务名称——需要将mapreduce.shuffle改为mapreduce_shuffle

详细信息Hadoop 2.2.0发行说明

官网http://hadoop.apache.org/

猜你喜欢

转载自xinghaifeng2006.iteye.com/blog/1963520
v2
今日推荐