一.产生背景
Hadoop1.0的时候是没有YARN，MapReduce1.X存在的问题：单点故障&节点压力大不易扩展
JobTracker：负责资源管理和作业调度
TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及作业执行情况；
接收来自JobTracker的命令，例如启动任务或结束任务等。
这种架构的缺点也很明显
上图可以看到，Hadoop集群在忙的时候Spark就比较闲，Spark集群比较忙的时候Hadoop集群就比较闲，而MPI集群则是整体并不是很忙。这样就无法高效的利用资源，因为这些不同的集群无法互相使用资源。
而YARN就可以令这些不同的框架运行在同一个集群上，并为它们调度资源。
XXX on YARN：与其他计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率。
XXX：Spark/MapReduce/Storm/Flink
二.YARN架构
1 ResourceMananger：RM
整个集群提供服务的RM只有一个（生产中有两个，一个主，一个备），负责集群资源的统一管理和调度。
处理客户端的请求：提交一个作业、杀死一个作业。
监控NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉AM如何进行处理。
2 NodeManager：NM
整个集群中有多个，负责自己本身节点资源管理和使用。
定时向RM汇报本节点的资源使用情况。
接收并处理来自RM的各种命令：启动Container等。
处理来自AM的命令。
单个节点的资源管理。
3 ApplicationMaster：AM
每一个应用程序对应一个：MR、Spark，负责应用程序的管理。
为每个应用程序向RM申请资源（core、memory），分配给内部task。
需要与NM通信：启动/停止task，task是运行在Container里面，AM也是运行在Container里面。
4 Container
封装了CPU、Memory等资源的一个容器
是一个任务运行环境的抽象。
5 Client
提交作业。
查询作业的运行进度。
杀死作业。
三.环境配置
1 yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2 mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3 启动YARN相关的进程
sbin/start-yarn.sh
4 验证
jps
ResourceManager
NodeManager
http://192.168.56.102:8088/
5 停止YARN相关的进程
sbin/stop-yarn.sh