YARN架构:
1)ResourceManager:RM
整个集群同一时间提供服务的RM只有一个,负责集群资源的统一管理和调度。
处理客户端的请求:提交作业,杀死作业
2)NodeManager:NM
整个集群中有多个,负责自己本身节点资源管理和使用。
定时向RM汇报本节点的资源使用情况。
接收并处理来自RM的各种命令:启动Container
3)ApplicationMaster:AM
每一个应用程序对应一个:spark,MR... 负责应用程序的管理
为应用程序向RM申请资源(core,memory)分配给内部task
需要与NM通信:启动/停止task
4)Container
封装了CPU、Memory等资源的一个容器
是一个任务运行环境的抽象
5)Client
提交作业
查询作业运行进度
杀死作业
YARN环境搭建:
使用版本:hadoop-2.6.0-cdh5.7.0
yean-site.xml
mapred-site.xml
启停YARN