一、Yarn概述
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作程序上的应用程序。
二、Yarn基本架构
Yarn主要由ResourceManager、NodeManager、ApplicationMater和Container等组件构成
三、Yarn的工作机制
-
MapReduce程序提交到客户端所在的节点
- Yarnrunner向ResourceMananger申请一个Application
-
ResourceManager将该应用程序的资源路径返回给yarnrunner。
-
该程序将运行所需资源提交到HDFS上。
-
程序资源提交完毕后，申请运行MRAppmaster
-
ResourceManager将用户的请求初始化成一个Task。
-
其中一个NodeManager领取到Task任务。
-
该NodeManager创建容器Container，并产生MRAppmaster。
-
Container从HDFS上拷贝资源到本地
-
MRAppmaster向ResourceManager申请运行MapTask资源。
-
ResourceManager将运行MapTask任务分配给另外两个NodeManager，另外两个NodeManager分别领取任务并创建容器。
-
MapReduce向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
-
MrAppMaster等待所有MapTask运行完毕，向ResourceManager申请容器，运行reduceTask。
-
ReducerTask想MapTask获取相应分区的数据
-
程序运行完毕后，MapReduce会向ResourceManager申请注销自己
三、资源调度器
目前，Hadoop工作调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。
1.先进先出调度器（FIFO）
2.容量调度器（Capacity Scheduler）
-
支持多个队列，每个队列可配置一定的资源量，每个队列采取FIFO调度策略。
-
为了防止同一个用户的工作独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定
-
首先，计算每个队列中正在运行的任务数与其应该分的资源之间的比值，选择一个比值最小的队列
-
其次，按照作业优先级和提交时间顺序，同时考虑用户资源量限制和内存限制对队列内任务排序
-
三个队列同时按照任务的先后顺序依次执行。
3.公平调度器（Fair Scheduler）
支持多队列多用户，每个队列中的资源量可以配置，同一队列中的工作公平共享队列中所有资源。
比如有三个队列：queueA，queueB，queueC，每个队列中的job按照优先级分配资源，优先级越高分配到的资源越多，但是每个job都会分配到资源以保证公平。在资源有限的情况下，每个job理想勤快下获取的计算资源与实际获取的计算资源存在一种差值，这个差距就叫做缺额。在同一个队列中，job的资源缺额越大，越先获得资源越优先执行。作业是按照缺额的高低来先后执行的。
四、任务的推测执行
1.作业完成时间取决于最慢的任务完成时间
一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件bug等，某些任务可能运行的非常慢。
2.推测执行机制
发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。
3.执行推测任务的条件
-
每个Task只能有一个备份任务
-
当前job已完成的Task必须不小于5%
-
开启推测执行参数设置。
<property>
<name>mapreduce.map.sprculative</name>
<value>true</value>
</property>
<property>
<name>mapreduce.reduce.speculative</name>
<value>true</value>
</property>4.不能启用推测执行机制的情况
-
任务存在严重的数据倾斜
-
特殊任务，比如任务向数据库中写入数据
5.算法原理
-
MR总是选择（estimateEndTime-estimateEndTime`）差值最大的任务，并且为之启动备份任务
-
为了防止大量任务同时启动备份任务造成的资源浪费，MR为每个作业设置了同时启动的备份任务数量上限。
-
推测执行机制实际上采用了经典的优化算法：以空间换时间，它同时启动多个相同任务处理相同数据，并让这些任务竞争以缩短数据处理时间。这种方法需要占用跟多的计算资源。在集群资源紧张的情况下，应合理使用该机制，争取在多用少量资源的情况下，减少作业的计算时间。