yarn环境搭建:
1.配置文件:
etc/hadoop/mapred-site.xml:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
告诉hadoop框架mapreduce跑在yarn之上
etc/hadoop/yarn-site.xml:
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
告诉hadoop yarn用的是mapreduce这个资源服务
2.启动yarn进程:
$ sbin/start-yarn.sh
3.验证
http://localhost:8088/
或者jps命令会出现以下两个进程:
NodeManager
ResourceManager
4.关闭yarn:
sbin/stop-yarn.sh
使用官方的mr作业来运行yarn
官方作业的位置:
/home/lc/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce 文件下:
hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 这个jar包
使用hdaoop jar命令来运行这个作业:
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar(JAR 包) pi (jar中具体的类名)2 3 (参数)