yarn架构设计

这里写图片描述

注释:

1.客户端提交请求
2.与资源调度器协调启动AM
3.在container上启动AM
4.AM向ASM注册,这样ResourceManager就可以查看程序的运行状态,AM就可以为任务申请资源
5.AM采用轮询的方式通过RPC协议向ResouceManager申请和领取资源
6.AM申请到计算资源NM
7.NM启动分配container启动task

名词解释

NodeManager

负责每个节点上资源的使用和分配,处理来自RM的命令和AM的命令,NM管理这抽象的容器资源container,并且定时给RM汇报资源的使用情况和container运行情况

ApplicationMaster

客户端请求给ResourceManager(RM),
RM在NodeManager(NM)上分配一个container去启动ApplicationMaster(AM),AM根据客户端请求资源情况,向RM申请资源,RM收到AM的资源请求情况后,在NM上分配一批container资源给AM;AM有了这些计算资源后,把自己的计算逻辑分成一个个的task,然后在container上执行

container

是yarn中的资源抽象,它封装了集群中节点上的多维度资源,是资源分配的最小单位,这里的资源包括内存和cpu

猜你喜欢

转载自blog.csdn.net/woloqun/article/details/80639411
今日推荐