hadoop:简单的测试例子

hadoop启动后,

1.首先查看下是否有可以上传的目录,避免再创建的话会重名:

    hdfs dfs -ls /

2.创建一个文件夹,专门存放要hadoop要分析的数据文件(注意,这个命令创建的文件夹好像是不存在的,你找不到的,所以你要记住你创建的这个路径文件夹,下面用得着):

    hdfs dfs -mkdir -p /home/input

3.把要分析的文件上传上去:

    hdfs dfs -put /etc/profile /home/input

4.可以查看下是否已经上传上去了:

    hdfs dfs -ls /home/input

5.执行job,其中out目录你可以随便自己定义,命令的意思是通过执行Hadoop自带测试算法“单词wordcount统计算法”,将/home/input下所有的文件执行分析job,得出的结果输出到/home/out(注意:这个输出的目录只能用一次,第二次执行别的计算就得要换个输出目录了)目录里面:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount   /home/input /home/out

6.你可以查看下统计的结果,它会在这个文件夹下生成类似part-****的文件:

    hdfs dfs -ls /home/out

7.将结果输出到terminate中进行查看:

   hdfs dfs -cat /home/out/part-r-00000

OVER!是否觉得so easy啊,妈妈再也不用担心我的学习了,^-^。。。。

猜你喜欢

转载自243046368.iteye.com/blog/2228124