hadoop运行自带的WordCount例子。

 使用hadoop用户登录

1、编译WordCount.java文件

cd /opt/hadoop/hadoop-1.2.1/src/examples/org/apache/hadoop/examples 进入该目录

执行下面的命令

javac -classpath /opt/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar://opt/hadoop/hadoop-1.2.1/lib/commons-cli-1.2.jar -d /opt/hadoop/hadoop-1.2.1/src/examples WordCount.java

-d /opt/hadoop/hadoop-1.2.1/src/examples 是为了保留包路径信息,否则后面会出现:java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount异常

2、打jar包

cd /opt/hadoop/hadoop-1.2.1/src/examples

jar cvf WordCount.jar ./org/apache/hadoop/examples/*.class

这样会把org.apache.hadoop.examples包结构打入

3、创建输入文件与input文件夹

随便建立file01、file02两个文件,随便输入文字

  1. $ bin/hadoop fs -mkdir /tmp/input  
  2. $ bin/hadoop fs -put file01 /tmp/input/
  3. $ bin/hadoop fs -put file02 /tmp/input/ 

4、运行WordCount程序

./hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount /tmp/input /tmp/output

org.apache.hadoop.examples.WordCount 要写全路径,否则报类找不到

5、查看结果

  1. $ bin/hadoop fs -cat /tmp/output/part-00000  

猜你喜欢

转载自wang-haha.iteye.com/blog/1934898