大数据求索(2):yarn的配置与使用

yarn的架构

1） Resourcemanager: RM

整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度
处理来自客户端的请求，比如提交一个job，杀死一个job等
监控NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉AM来如何进行调度

NodeManager：NM

整个集群中可以有多个，负责结点自己本身的资源管理和使用
定时向RM汇报结点自身的资源使用情况
接收并处理来自RM的各种命令，然后启动Container
处理来自AM的命令

3）ApplicationMaster：AM

每个应用程序对应一个：MR、Spark等，负责应用程序的管理
为应用程序向RM申请资源（core、memory等），分配给内部task
需要与NM通信：start/stop task，task是运行在container里面，AM也是运行在container里面

4）Container：

封装了CPU、Memory等资源的一个容器，是一个任务运行环境的抽象

5）Client

提交作业、查询作业进度、杀死作业等

yarn的配置

在搭建好HDFS以后，yarn的配置就非常简单了，这里还是搭建的伪分布式，只需要修改两个配置文件即可

修改mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

这个文件的作用是启用yarn

修改yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>wds</value>
</property>

这样最基本的yarn就配置好了，接下来启动yarn测试

启动yarn

在sbin目录下，有启动yarn的脚本start-yarn.sh，直接执行sbin/start-yarn.sh即可

启动以后有两种方式验证

第一种，通过jps命令查看进程，如果包含NodeManager和ResourceManager两个进程，那么yarn便是启动成功了。

第二种，通过浏览器，这种方式也更为直观。在浏览器输入http://ip:8088，显示页面如下图所示

yarn-1

那么，表示yarn启动成功。

yarn的使用

通过yarn的图形化界面方式，我们可以很方便的管理集群。

通过观察yarn的界面，我们很容易可以看到正在执行的、已经结束的、失败的、被杀掉的等job的状态以及集群的状态，比如集群内存、存活的结点等状态，非常方便。

yarn-2

在执行一个job以后，我们还可以方便的查看job的log。这里默认是没有启用，需要配置，叫做JobHistory，后面在做介绍。

提交任务到yarn上运行

执行方式为 hadoop jar xxx.jar 参数

所以，在本地编写好程序以后，需要打包到服务器上执行，也可以执行hadoop自带的例子，这里以pi的计算为例

在目录share/hadoop/mapreduce下面有很多jar包，有一个jar包叫做hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar，里面封装了很多官网提供的例子，可以使用

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar --help

查看执行参数

选择pi 并执行

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

便可以提交一个MapReduce任务到yarn上执行了，在web端可以看到job的执行情况和日志，这里就不多做介绍了。

可能出现的问题

浏览器访问打不开
- 检查防火墙是否关闭、端口是否占用、hosts文件是否正确，一般都是这三种
- 检查log，看是否有报错
执行任务报错

这里需要仔细查看日志，查看报错原因，常见的报错是缺少jar或者参数不对