hadoop统计单词数量小案例

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_33023933/article/details/80429657

       在以上几篇文章中我们已经搭建好了单机版的hadoop环境,下面我们就来运行一下hadoop 官网上的demo。统计一个文件夹中的xml文件中单词书此案的频率。

    首先我们将文件copy到某个目录里面,

  

这就是我们要统计的文件。

然后再通过hadoop执行 jar命令。

 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount       /home/chenzhu/test/ /home/chenzhu/testoutput


其中 wordcount是 hadoop-mapreduce-examples-2.7.3.jar提供的方法 ,/home/chenzhu/test/ 是文件的开始目录,

/home/chenzhu/testoutput是文件输出目录,但是不能提前创建好,切记注意


执行命令后我们就可以看到


文件中 有两个文件 一个success 一个part文件 ,success表示成功

part表示结果输出。


查看一下就能看到每个单词出现的频率了。


猜你喜欢

转载自blog.csdn.net/qq_33023933/article/details/80429657