hadoop2.8运行自带的Wordcount

环境搭建见上一章:centos7+hadoop2.8.0+VMware搭建完全分布式集群

步骤

①首先在master虚拟机本地某一个目录下创建一个文件夹file,用来存储将要上传到HDFS的文件

我是在/opt/hadoop路径下创建的文件夹file


②接着进入file文件夹,然后创建两个文本文件file1.txt和file2.txt,并输入内容


③用hadoop dfs命令在HDFS上创建用来接收本地文件的文件夹input


④将刚才在本地创建的两个文件上传到HDFS的input中(此前要关闭所有节点的防火墙,不然会出错


⑤现在已经将文件上传到HDFS上了,接下来就要用hadoop自带的Wordcount程序对其进行统计

首先进入到Wordcount程序所在目录(找自己的hadoop的安装目录


执行命令运行Wordcount程序,并将结果输出到/output目录下(输出目录自动生成,不可提前创建


⑥上面说明job已经成功运行。接下来看输出结果。先查看/output目录下新生成的文件,我们的统计结果在part-r-00000文件中。



至此,第一个hadoop自带的Wordcount程序成功运行!从搭建环境到运行第一个程序遇到了很多问题,不过最后通过前人的经验都解决了!这也给我带来了一定的自信,加油,坚持下去!

猜你喜欢

转载自blog.csdn.net/ASN_forever/article/details/80929910