YARN上运行MapReduce程序

一些相同配置参照我的这篇博客：https://blog.csdn.net/qq_35508033/article/details/80854518

1）分析：
（1）准备 1 台客户机
（2）安装 jdk
（3）配置环境变量
（4）安装 hadoop
（5）配置环境变量
（6）配置集群 yarn 上运行
（7）启动、测试集群增、删、查

（8）在 yarn 上执行 wordcount 案例

2）执行步骤
（1）配置集群
（a）配置 yarn-env.sh

配置一下 JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（c）配置：mapred-env.sh

配置一下 JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置 yarn-site.xml

<!-- reducer 获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ren-zhe</value>
</property>

（d）配置： (对 mapred-site.xml.template 重新命名为) mapred-site.xml
[root@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml

[root@hadoop101 hadoop]$ vi mapred-site.xml

<!-- 指定 mr 运行在 yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

（2）启动集群

（a）启动前必须保证namenode和datanode已经启动

（a）启动 resourcemanager
[root@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
（b）启动 nodemanager
[root@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

（3）集群操作
（a）yarn 的浏览器页面查看
http://192.168.1.101:8088/cluster

（b）删除文件系统上的 output 文件
[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/zhou/output
（c）执行 mapreduce 程序

$  bin/hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/zhou/input /user/zhou/output

（d）查看运行结果
[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/zhou/output/*