一、Yarn介绍
Yarn是一个通过的资源管理平台，可为各个计算框架提供资源的管理和调度。
其核心出发是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager）,
以及每个应用程序对应一个的应用管理器（ApplicationMater），应用程序由一个Job或者Job的又向无环图（DAG）组成。
ResourceManager 和 NodeManager(NM)组成了基本的数据计算框架。ResourceManager 协调集群的资源利用， 任何 Client 或者运行着的 applicatitonMaster 想要运行 Job 或者 Task 都得向 RM 申请一定的资 源。ApplicatonMaster 是一个框架特殊的库，对于 MapReduce 框架而言有它自己的 AM 实现， 用户也可以实现自己的 AM，在运行的时候，AM 会与 NM 一起来启动和监视 Tasks。
二、Yarn的重要概念
（1）ResourceManager
ResourceManager是基于应用程序对集群资源的需求进行调度的Yarn集群主控节点，负责协调和管理整个集群（所有NodeManager）的资源，响应用户提交的不同类型应用的解析，调度，监控等工作。ResourceManager会为每一个Application一个MRAPPMaster，并且MRAPPMaster分散在各个NodeManager节点
它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（ApplicationManager）
ResourceManager的主要职责：
1、处理客户端的请求
2、启动或者监控MRAPPMater
3、资源的分配与调度
4、监控NodeManager
（2）NodeManager
NodeManager是Yarn集群中真正的资源提供者，是真正执行应用程序的容器的提供者，监控应用程序的资源使用情况，并通过心跳机制向ResourceManager进行汇报以更新自己的健康状态。同时其也会监督Container的生命周期管理，监控每个Container的资源使用情况，追踪节点健康状况。
NodeManager的职责：
1、管理单个几点的资源
2、处理来自ResourceManager的命令
3、处理来自MRAppMaster的命令
（3）MRAppAMaster
1、MRAppMaster对应一个应用程序，向ResourceManager申请执行任务的资源容器，运行任务，监控整个任务的执行，跟踪整个任务的状态，处理任务失败以及异常情况
（4）Container
Container容器是一个抽象出来的逻辑资源单位，容器是由ResourceManager Scheduler服务动态分配的资源构成，它包括该节点上的一定量CPU，内存，磁盘，网络等信息，MapReduce程序的所有Task都是在一个容器里执行完成的，容器的大小可以动态调整。
（5）ApplicationsManager
应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交，与调度器协商启动AM、监控AM运行状态并在失败的时候重启。
（6）Scheduler
调度器根据应用程序的资源需求进行资源分配，不参与应用程序具体的执行和监控等工作，资源分配的单位是Container，调度器是一个可插拔的组件，用户可以根据自己的需求实现自己的调度器。（FIFO调度器，公平调度器，容量调度器）
三、Yarn作业执行流程
1.客户端向Yarn中提交应用程序，其中包括MRAppMaster程序，启动MRAppMaster的命令，用户程序等。
2.ResourceManager为该程序分配一个Container，并与对应的NodeManager通讯，要求它这个Container中启动应用程序MRAppMaster
3.MRAppMaster向RM注册自己，这样用户可以直接通过ResourceManager查看应用程序的运行状态，然后将为各个任务申请资源，并监控它的运行状态，直到运行结束，重复4到7的步骤
4.MRAppMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源
5.一旦MRAppMater申请到资源后，便于对应的NodeManager通讯，要求它启动任务
6.NodeManager为任务设置好环境后，将任务启动命令写到一个脚本中，并且通过运行该脚本启动任务
7.各个任务通过RPC协议向MRAppMaster汇报自己的状态和进度，以让MRAppMaster随时掌握各个任务的运行状态，从而可以
在任务失败的时候重新启动任务
8、应用程序运行完成后，MRAppMaster向ResourceManager注销并关闭自己。
