Linux 环境下运行hadoop 的wordcount 程序

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_22830285/article/details/84143774

我相信每个人部署完hadoop 环境之后,都想运行一下程序,就比如学习java的时候,配置好环境变量,就想运行一下程序输出一个hellop word。
wordcount程序,统计文本中的字符出现次数。本次,主要目的是在liunx运行一下wordcount,看看输出的效果。下一篇会介绍在win系统下链接linux hadoop 集群,运行wordcount,并理解hadoop 的mapreduce组件。
hadoop 集群搭建请移步:https://mp.csdn.net/mdeditor/84073712
第一步:hdfs系统创建input 目录。
hadoop fs -mkdir input
第二步:上传需处理的文件到hadoop的hdfs系统
本地创建 a.txt,b.txt 文件,将文件上传到hadoop的hdfs系统上。
我的a.txt,和b.txt 反正test目录下。
hadoop -fs -put test/a.txt input
hadoop -fs -put test/b.txt input

在这里插入图片描述
可以看到 a.txt 和 b.txt的内容。

第三步:运行wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount input output
在这里插入图片描述

运行后,会生成output 文件夹,计算结果就放在了 part-r-00000 文件下,结果如下图。

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_22830285/article/details/84143774