hadoop1.x 和 hadoop2.x的对比

(1)hadoop1.x  和 hadoop2.x对比

hadoop1.x:

  • JobTracker做资源管理和任务调度,存在单点问题,如果集群扩张,TaskTracker变多,JobTracker压力就会变大(因为是1对多,只有1个JobTracker);如果JobTracher挂掉无法提交
  • 只支持mr作业,不支持其他类型作业(spark等)
  • 静态资源分配,资源利用率不好

hadoop2.x:

  • 支持mr以外的其他作业
  • 可以通过配置任务队列优先级,跑多种作业等方式提高资源利用率
  • 1个resourmanager对应多个nodemanager,resourcemaneger支持HA(但是存在问题,需要额外操作实现真正的HA)

(2)ApplicationMaster职责是什么?

作业提交到ResourceManager上,它会启动一个Container,在Container上启动作业对应的ApplicationMaster(MR作业就是MR Application Master,也可能是Spark的),ApplicationMaster向ResourceManager申请计算资源,到对应的NodeManager上启动Container运行程序,ApplicationMaster完成的是和ResourceManager通信请求自愿,和NodeManager通信完成任务的分发,启动停止,作业的容错等

猜你喜欢

转载自coderlxl201209164551.iteye.com/blog/2414268