文章目录
0. Yarn的来源
hadoop 1.x的时代，并没有Yarn，hadoop核心组件只有HDFS和MapReduce。到了hadoop2.x才有了Yarn的诞生，组件包含HDFS，MapReduce和Yarn。
诞生原因：hadoop 1.x存在的最大问题就是资源管理问题。技术的发展不再满足于hadoop集群中只使用MapReduce一个计算框架，人们更希望有一套合理的管理机制，来控制集群的资源管理问题。就此Yarn诞生。
1. YARN概述
全称 Yet Another Resource Negotiator。是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce，spark 等运算程序可以运行在YARN上，相当于应用程序运行于操作系统之上
YARN 是 Hadoop2.x 版本中的一个新特性。它的出现是为了解决第一代 MapReduce 编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X 版本中重新设计的这个 YARN 集群，具有更好的扩展性，可用性，可靠性，向后兼容性，以及能支持除 MapReduce 以外的更多分布式计算程序
YARN的特点：
- YARN不清楚提交的程序的运行机制
- 只提供运算资源的调度，分配。用户申请就分配。
- 与运行的用户程序完全解耦。 YARN 上可以运行各种类型的分布式运算程序。比如 MapReduce、Storm 程序，Spark 程序等
- yarn 是一个通用的资源调度平台，企业中存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享
Yarn最大的特点是执行调度与Hadoop上运行的任务类型无关
2. YARN的重要组成部分
有两类长期运行的守护进程提供核心服务
- ResourceManager(主节点) ：全局资源管理器
- NodeManager(从节点)：节点资源管理器
主从结构如图
2.1 ResourceManager
整个系统有且只有一个 RM ，来控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager与ApplicationMaster一起分配资源，与NodeManager一起启动和监视它们的基础应用程序
RM里面还有两个重要组成部分：
- 应用程序管理器 Application Manager
- 资源调度器 Resource Scheduler
ResourceManager名字就是这两个词合并而来
（1）Application Manager 应用程序管理器
应用程序管理器就是负责管理 Client 用户提交的应用的管理器
主要功能：
-
负责接收client端传输的job请求，为应用(MapReduce 程序)分配一个Container（资源池）来运行一个Application Master
-
负责监控Appication Master
-
并且在遇到失败的时候重启Application Master
（2）Scheduler 资源调度器
Resource Scheduler即资源调度器，是让每一个节点都充分利用起来，合理分配和调度资源的一种管理器。
值得注意的是：调度器真的只是一个调度器，不参与任何具体的和应用程序相关的工作。
2.2 NodeManager
NodeManager是YARN集群当中真正资源的提供者，提供执行应用程序的容器， 监控应用程序的资源使用情况（CPU，内存，硬盘，网络），并通过心跳向 ResourceManager 进行汇报，以更新自己的健康状态。同时其也会监督 Container 的生命周期，监控每个 Container 的资源使用情况。
主要功能如下：
- 管理单个节点上的资源
- 处理来自ResourceManager的命令
- 处理来自ApplicationMaster的命令
2.3 逻辑上的组件Application Master
ApplicationMaster 就是一个java程序，进程名：MRAppMaster
作用：负责监控Map、Reduce任务。用户提交的每一个程序都会产生一个ApplicationMaster，这个AM就是负责整个任务的一个管理者，由这个 AM去向ResourceManager 申请容器资源，获得资源后会将要运行的程序发送到容器上启动，然后进行分布式计算。
主要功能：
- 与调度器（Scheduler）协商，获取执行资源
- 与NodeManager通信，启动任务和停止任务
- 监控所有旗下Job的执行状态，重启失败任务
3. Container 资源池
Yarn中的资源抽象，封装了多维度资源： 内存，cpu，磁盘等。Container就是Scheduler进行资源分配的一个单位，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。
- 容器由 NodeManager 启动和管理，并被它所监控。
- 容器被 ResourceManager 进行调度。
4. 小结
Yarn是Hadoop2.x之后引入的新组件。Yarn的架构采用了主从结构，一主多从（ResourceManager & NodeManager）。Yarn在Hadoop中的功能作用有两个，第一是负责Hadoop集群中的资源管理(resource management)，第二是负责对任务进行调度和监控(scheduling/monitoring)。
