hadoop YARN

YARN架构:

1)ResourceManager:RM

整个集群同一时间提供服务的RM只有一个,负责集群资源的统一管理和调度。

处理客户端的请求:提交作业,杀死作业

2)NodeManager:NM

整个集群中有多个,负责自己本身节点资源管理和使用。

定时向RM汇报本节点的资源使用情况。

接收并处理来自RM的各种命令:启动Container

3)ApplicationMaster:AM

每一个应用程序对应一个:spark,MR...   负责应用程序的管理

为应用程序向RM申请资源(core,memory)分配给内部task

需要与NM通信:启动/停止task

4)Container

 封装了CPU、Memory等资源的一个容器

是一个任务运行环境的抽象

5)Client

提交作业

查询作业运行进度

杀死作业

YARN环境搭建:

使用版本:hadoop-2.6.0-cdh5.7.0

yean-site.xml

mapred-site.xml

启停YARN

猜你喜欢

转载自www.cnblogs.com/zenan/p/8963801.html