Hadoop系列——Yarn上作业的提交流程

提交流程

1. 作业提交

• Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
• Client向ResourceManager申请一个作业id。
• RM给Client返回资源提交的路径和作业id。
• Client将jar包，切片信息，xml配置文件提交到指定路径。
• Client提交完成后向MR申请运行mrApplicationMaster。

2. 作业初始化

• RM收到Client的请求以后，将job转换成一个Task，提交到任务队列中。
• 某一个空闲的NodeManager领取该job。
• NM创建Container，申请运行mrApp。
• NM下载Client提交的资源。

3. 任务分配

• mrApp向RM请求运行多个MapTask任务。
• RM将mrApp提交的任务分配给多个NM，NM分别启动MapTask。
• MapTask运行完毕以后，mrApp向RM请求运行ReduceTask。
• RduceTask从MapTask获取相应的分区数据。
• 程序运行完毕以后，MR向RM注销自己。