启动集群、运行wordcount测试案例、WARN conf.Configuration: bad conf file: element not <property>

集群的启动:$HADOOP_HOME/sbin/start-all.sh 

  jps检测进程:

  

单启动HDFS:$HADOOP_HOME/sbin/start-dfs.sh

单启动YARN:$HADOOP_HOME/sbin/start-yarn.sh

如果你的Hadoop一直有如下警告:

  

  则请检查你的配置文件更改过程中是否少写了property标签,如本人的"mapred-site.xml"文件:

  

  添加之后就好了。

下面展示wordcount程序统计词数:

  创建一个上传文件的文件夹:

  hadoop dfs -mkdir  /input

   上传一个本地文件:将hello.txt文件上传到  /input下

  hadoop fs -put hello.txt  /input

  查看上传的文件:

  hadoop fs -ls /input

  hadoop fs -cat /input/hello.txt

  

  提交mapreduce作业到yarn上运行

  hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar  wordcount  /input/hello.txt  /output/

  查看单词数:

  hadoop fs -text /output/part*

  

猜你喜欢

转载自www.cnblogs.com/dan-baishucaizi/p/9695559.html