Linux下Hadoop分布式文件系统分布模式下配置部署启动YARN

续我的上篇博文:https://mp.csdn.net/postedit/89181851即Hadoop分布模式已经安装部署好。

本篇博文在上篇博文的基础上配置部署启动YARN并在YARN上运行MapReduce程序

一、实验环境(rhel7.3版本)

1selinux和firewalld状态为disabled

2各主机信息如下:

主机 ip
server1(NameNode、 Secondary Namenode、nfs网络文件系统的服务端、ResourceManager) 172.25.83.1
server2(Datanode、nfs网络文件系统的客户端、NodeManager) 172.25.83.2
server3(Datanode、nfs网络文件系统的客户端、NodeManager) 172.25.83.3
server4(Datanode、nfs网络文件系统的客户端、NodeManager) 172.25.83.4

二、Hadoop分布模式下配置部署启动YARN

配置server1(Namenode):当然也可以在server4端/server2端/server3端进行配置,因为配置了nfs网络文件系统,所以

在任何一端进行操作均可以。

1、修改配置文件

<1>配置mapred-site.xml

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop/etc/hadoop
[hadoop@server1 hadoop]$ vim mapred-site.xml   #在文件的最后写入如下的内容
 19 <configuration>
 20     <property>
 21         <name>mapreduce.framework.name</name>
 22         <value>yarn</value>
 23     </property>
 24     
 25     <property>
 26         <name>mapreduce.application.classpath</name>
 27         <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/sh    are/hadoop/mapreduce/lib/*</value>
 28     </property>
 29 </configuration>

<2>配置yarn-site.xml

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop/etc/hadoop
[hadoop@server1 hadoop]$ vim yarn-site.xml   #在文件的最后添加如下的内容
 15 <configuration>
 16     <property>
 17         <name>yarn.nodemanager.aux-services</name>
 18         <value>mapreduce_shuffle</value>
 19     </property>
 20 
 21     <property>
 22         <name>yarn.nodemanager.env-whitelist</name>
 23         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASS    PATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 24     </propety>
 25 </configuration>

2、开启yarn

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ sbin/start-yarn.sh 

3、jps命令查看java进程,并在Namemode节点(server2,server3和server4端)查看java进程

[hadoop@server1 hadoop]$ jps
4198 SecondaryNameNode
3978 NameNode
4699 Jps
4540 ResourceManager

[hadoop@server2 ~]$ jps
2485 Jps
2250 DataNode
2380 NodeManager

[hadoop@server3 ~]$ jps
2483 Jps
2247 DataNode
2378 NodeManager

[hadoop@server4 ~]$ jps
2514 DataNode
2823 Jps
2664 NodeManager

猜你喜欢

转载自blog.csdn.net/qq_42303254/article/details/89183492