Job提交过程

Job提交过程

在这里插入图片描述
1.客户端向resourceManager提交job运行请求。
2.resourceManager进行检查,没有问题向客户端返回一个共享资源路径和一个jobId.
3.客户端将共享资源放在共享资源路径下
4.客户端向resourceManager进行反馈共享资源放置完毕,进行job的真正提交
5.resourceManager为这个job分配一个节点,并在这个节点上启动MRappMaster。
6.resourceManager到对应的节点上先启动container,在这个container中启动MRappMaster
7.Mrapp到共享资源路径下载共享资源split.job.xml
8.MRapp对job进行初始化,生成job的一个作业簿
9.MRapp向resourceManager申请maptask和reducetask运行的资源先发送到maptask,在发送到reducetask的请求。
10.resourceManager向MRapp返回maptask和reducetask的资源节点
11.MRapp到对应的节点上启动container,启动maptask任务
12.maptask任务到对应的共享资源路径下,下载共享资源,开始执行maptask任务
13.maptask运行过程中回向MRapp汇报自己的运行进度和状态
14.当有一个maptask任务执行完成后,只会进行数据的拉取,不会进行数据的计算。
15.到资源共享资源路劲下下载共享资源,当所有的maptask执行完成就开始执行reducetask任务。
16.当maptask任务或reducetask任务执行完成后,maptask或reducetask就会向MRappMaster 注销自己,进行资源释放,同时MRappMaster回向reduceManager进行注销自己,进行资源释放。

猜你喜欢

转载自blog.csdn.net/lv_hulk/article/details/87527510
今日推荐