YARN 简介
YARN是Hadoop2.0引进的，前身是MapReduce本身的资源调度框架，Hadoop2.0后将MapReduce计算框架和YARN资源调度框架做了分离。
YARN 核心组件
- Resources Manager
是YARN主从架构下的master，是整个集群资源的调度者和管理者。Client提交作业后，首先是向RM提交资源申请。RM负责给用户提交的所有应用程序分配资源，它根据应用程序优先级、队列容量、ACLs、数据位置等信息，做出决策，然后以共享的、安全的、多租户的方式制定分配策略，调度集群资源。 - Node Manager
YARN主从架构下的worker或slave，整个集群资源的节点管理者。主要负责该节点内所有容器的生命周期的管理，监视资源和跟踪节点健康。具体如下：- 启动时向 ResourceManager 注册并定时发送心跳消息，等待 ResourceManager 的指令；
- 维护 Container 的生命周期，监控 Container 的资源使用情况；
- 管理任务运行时的相关依赖，根据 ApplicationMaster 的需要，在启动 Container 之前将需要的程序及其依赖拷贝到本地。
- APPlication Master
在用户提交一个应用程序时，YARN 会启动一个轻量级的进程 ApplicationMaster。ApplicationMaster 负责协调来自 ResourceManager 的资源，并通过 NodeManager 监视容器内资源的使用情况，同时还负责任务的监控与容错。具体如下：- 根据应用的运行状态来决定动态计算资源需求；
- 向 ResourceManager 申请资源，监控申请的资源的使用情况；
- 跟踪任务状态和进度，报告资源的使用情况和应用的进度信息；
- 负责任务的容错。
- Container
Container 是 YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。当 AM 向 RM 申请资源时，RM 为 AM 返回的资源是用 Container 表示的。YARN 会为每个任务分配一个 Container，该任务只能使用该 Container 中描述的资源。ApplicationMaster 可在 Container 内运行任何类型的任务。例如，MapReduce ApplicationMaster 请求一个容器来启动 map 或 reduce 任务，而 Giraph ApplicationMaster 请求一个容器来运行 Giraph 任务。
YARN工作原理简述
-
Client 提交作业到 YARN 上；
-
Resource Manager 选择一个 Node Manager，启动一个 Container 并运行 Application Master 实例；
-
Application Master 根据实际需要向 Resource Manager 请求更多的 Container 资源（如果作业很小, 应用管理器会选择在其自己的 JVM 中运行任务）；
-
Application Master 通过获取到的 Container 资源执行分布式计算。
流程
- MR向yarn提交任务
- yarn开启空闲nodeManager的App mstr
- App mstr计算任务所需的资源并反馈给RM
- RM向空闲的NM开启Container分配资源
- NodeManager开始MR任务
- 反馈成果给app mstr并进一步反馈给RM
- RM释放资源
YARN高可用利用了Zookeeper，具体看另外一篇文章的思路。
Hadoop学习（三）：Zookeeper实现Hadoop集群高可用
资源调度器
对于一个集群来说，资源总是不够用的，合理的资源调度是一个集群保证高效运转的前提。YARN内部有三种可供选择的资源调度器，分别为：
- FIFO Scheduler
- Capacity Scheduler
- Fair Scheduler
- FIFO Scheduler
和名称一样，就是根据任务的提交时间来调度，在一个繁忙的集群中，FIFO Scheduler效果显然不够好。例如，大任务先于小任务提交，大任务显然要比小任务耗时时间长，所以采用这种方式调度时会造成小任务迟迟得不到结果。
对于繁忙的集群，应该选择Capacity Scheduler或Fair Scheduler。 - Capacity Scheduler
容量调度器允许多个组织共享Hadoop集群，每个组织可以分配到全部集群资源的一部分。可以配置多个队列，队列内部还允许配置队列，在队列内部采用的FIFO调度。
如果队列中有多个任务使用的资源超过了该队列的容量，当集群资源还有剩余的时候，这些任务是可以分配到队列外的资源的；如果队列设置了最大容量限制，那么就无法使用了。
YARN默认使用容量调度器（一些开源项目默认使用公平调度器） - Fair Scheduler
公平调度器尽可能达到任务之间的公平。当有一个作业进来时，调度器先为他分配队列中所有资源；当第二个任务过来时，该任务在一段时间后将获得一半资源，另外一半由另外一个任务所使用（等一段时间是因为task要先完成后释放containers）。公平调度器还可以抢占那些占用超过了公平共享份额的任务，但是会降低整个集群的效率。
资源调度器的更多介绍请看Hadoop权威指南第四版P85。
