MapReduce on yarn 总结

1.客户端向resource manager申请运行application
2.resource返回给client一个jobid和资源的上传路径
3.客户端将资源上传到hdfs上(查看输入的目录文件并计算切片FileSplit[],job对象的序列化xml,jar包)
4.客户端请求一个容器(多少g多少核)
5.resource manager将客户端的请求转化为一个task,放在任务队列(找到一个空闲的node manager)
6.node manager 领取任务 , 创建容器生成am,combiner
7.客户端通过shell命令运行am
8.am向rm申请资源
9.rm将分配好的资源放到任务队列
10.nm领取任务 创建容器,在hdfs上(复制)资源
11.am通过shell命令开启maptask

一个maptask运行约80%的时候,reducetask就可以启动(之前一直是等待状态)

运行完成后,maptask被回收,但是产生的数据在本地,nm会记录下来。
先回收maptask 再回收reducetask ,最后am向rm注销自己

发布了23 篇原创文章 · 获赞 27 · 访问量 2266

猜你喜欢

转载自blog.csdn.net/MyNameIsWangYi/article/details/102981196
今日推荐