学习总结篇——Hadoop02

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

scp远程传输文件
scp -r hadoop-2.7.2.tar.gz mm@hadoop102:/opt/software

mkdir -p data/tmp

第一次启动没有问题，第二次启动时，会有文件残留
bin /hdfs namenode -format，产生一个新的namenode文件（id），就不认识之前的datanode了
解决办法：在格式化之前，删除datanode里面的信息（默认在/tmp,如果配置改目录，那就要去你配置的目录下删除（hadoop-2.7.2/data/tmp））

一.YARN上运行MapReduce程序
1）分析：
   （1）准备1台客户机
   （2）安装jdk
   （3）配置环境变量
   （4）安装hadoop
   （5）配置环境变量
   （6）配置集群yarn上运行
   （7）启动、测试集群增、删、查
   （8）在yarn上执行wordcount案例
2）执行步骤
   （1）配置集群
       （a）配置yarn-env.sh
   配置一下JAVA_HOME：export JAVA_HOME=/opt/module/jdk1.7.0_79
       （b）配置yarn-site.xml
   
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadoop101</value>
   </property>
       （c）配置：mapred-env.sh
   配置一下JAVA_HOME:export JAVA_HOME=/opt/module/jdk1.7.0_79
       （d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
   
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
   （2）启动集群
   sbib/yarn-daemon.sh start resourcemanager
   sbib/yarn-daemon.sh start nodemanager
   （3）集群操作
       （a）yarn的浏览器页面查看：http://192.168.1.101:8088/cluster
       （b）删除文件系统上的output文件：bin/hdfs dfs -rm -R /user/mm/mapreduce/wordcount/output
       （c）执行mapreduce程序
       bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/mm/mapreduce/wordcount/input /user/mm/mapreduce/wordcount/output
       （d）查看运行结果：bin/hdfs dfs -cat /user/mm/mapreduce/wordcount/output/*


二.修改本地临时文件存储目录
1）停止进程
2）修改hadoop.tmp.dir
[core-site.xml]

   <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/module/hadoop-2.7.2/data/tmp</value>
   </property>
3）格式化NameNode
4）启动所有进程
注意：先删除原先的id
hadoop-mm
hadoop-mm-namenode.pid

学习总结篇——Hadoop02

猜你喜欢