关于yarn的调优参数,也都在官网中得到贯彻落实,基于这些点,我们该如何选择呢?
首先,奉上官网链接
hadoop中yarn调优
接下来,奉上大头
参数调优
在正常的开发中比较常用的调优参数
1、mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.152.123:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
</property>
2、yarn-site.xml
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.152.123:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.152.123:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.152.123:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.152.123:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.152.123:8088</value>
</property>
其实,这一些东西都在官网中进行了整理,我们可以根据自己的实际需求进行修改和搭建,这才是我们需要考虑的重点—看说明书,想要成为一名合格的程序员,会看说明书是一个很重要的技能
2、常见问题解决方案
2.1ClassNotFound
造成这个异常的原因可能有两个
1、idea打jar包出现问题,,顺序应该是clean—install
2、在进行任务提交的时候类名书写不完整或者和程序中定义的名称不一致
2.2 文件异常
这里是引用
造成这个问题的原因,相应搭建都应该很清楚,去检查一下就好,因为在上传文件的时候有可能文件会有后缀名
2.3无法连接yarn
我们使用yarn就是为了避免资源冲突,如果只是单纯的运行MR,那无所谓,但是当我们运行MR的同时又提交了一个spark,就有可能造成资源抢占
解决方案:讲mapreduce运行到yarn上
在mapred-site.xml中,
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
就是为了将mapreduce的运行框架改为yarn,但是,改完这个之后,有可能会造成一个问题
根本没有连接到yarn上,一直在重复链接
那这个问题原因可能是以下几点
1、 设置了端口号:任务提交的端口号和程序设置的不一样
2、防火墙:关闭防火墙
3、没有启动resourcemanager:检查进程是否启动
4、配置文件:查看程序和集群的配置文件是否一致以及是否将MR运行框架改为yarn