MapReduce 运行Yarn上详解

MapReduce 运行Yarn上详解

1)Client向Yarn主节点RM提交应用

bin/yarn jar MainClass args

(2)RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者

(3)AppMaster向RM请求资源,为了运行MapReduce中所有的Task,RM将分配NM是哪个资源,并且告知AppMaster

(4)AppMaster联系NM,启动Container中相关Task(Map Task和Reduce Task)

(5)运行的Task会实时的向AppMaster进行汇报,用于监控整个应用。

(6)当所有Task(Reduce Task)运行完成,appMaster告知RM,销毁AppMaster

(7)RM给Client相应

个人理解:

客户发送需求给老板(resourcemanager),老板从他的员工中间找出一个来当策划经理(启动Container容器,运行AppMaster,作为应用管理者)。经理向老板请求资源,然后老板把资源下发给员工,并且通知了经理。之后经理通知各个员工开始干活(启动启动Container中的任务,map task 和reduce task)。在执行任务的时候,会不断的通知经理,来监控整个应用。当任务完成之后,老板又把经理的职位撤了。老板再去找客户反映。

猜你喜欢

转载自blog.csdn.net/qq_35315363/article/details/94474238