作业提交的全过程

版权声明：有一种生活不去经历不知其中艰辛,有一种艰辛不去体会,不会知道其中快乐,有一种快乐,没有拥有不知其中纯粹 https://blog.csdn.net/wwwzydcom/article/details/83902652

1. 作业提交之YARN
   
   作业提交全过程详解
   (1)作业提交
   第0步:client调用job,waitForCompletion方法,向整个集群提交MapReduce作业
   第1步:client向RM申请一个作业id
   第2步:ResourceManager给client返回该job资源的提交路径和作业id
   第3步:client提交jar包,切片信息和配置文件到指定资源提交路径
   第4步:client提交完资源后,向RM申请运行MRAppMaster
   (2)作业初始化
   第5步:当RM收到client的请求后,将该job添加到容量调度器中
   第6步:某一个空闲的NM领取到该Job
   第7步:该NM创建Container并产生MRAppmaster
   第8步:下载client提交到资源到本地
   (3)任务分配
   第9步:MrAppMaster向RM申请运行多个maptask任务资源
   第10步:RM将运行maptask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器
   (4)任务运行
   第11步:MRAppmaster向两个接受到任务的NodeManager发送程序启动脚本,将两个NodeManager分别启动maptask,maptask对数据分区排序
   第12步:MrAppMaster等待所有maptask运行完毕后,向RM申请容器,运行reduce task
   第13步:reduce task向maptask获取相应分区的数据
   第14步:程序运行完毕后,MRAppMaster会向RM申请注销自己
   (5)进度和状态的更新
   YARN中任务将其进度和状态(包括counter)返回给应用管理器,客户端每秒(通过mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新,展示给用户
   (6)作业完成
   除了向应用管理器请求作业调度外,客户端每5分钟都会调用waitForCompletion()来检查作业是否完成,时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置,作业完成之后,应用管理器和Container会清理作业状态,作业信息会被作业历史服务器存储以备之后用户核查

2. 作业提交过程MapReduce

   

3. 作业提交过程之读数据

4. 作业提交过程之写数据