hadoop的hello word

具体过程我就不说了,我想说下我遇到的坑:
   1 删除一个文件夹怎么也删除不了,后来才知道要hadoop fs -rm -r
 
   2 遍历文件的时候我开始是一个个ls下去,很苦逼,后来知道了hadoop fs -ls -R ,这个可以遍历所有的子文件夹的文件。
  
    3 我用的是hadoop-2.0.3-alpha-,找了半天wordcount也没找到,据说是在example下,但是example我也没找见,后来才在share\hadoop\mapreduce的目录下找到hadoop-mapreduce-examples-2.0.3-alpha.jar,这个就是传说中的wordcoout的jar包了,也省的我编译打包了。

    4 运行这个jar包:hadoop jar word.jar WordCount input output,但是报错了,
报的错是:Unknown program 'WordCount' chosen.  然后网上查了下,居然是要全部小写,然后hadoop jar word.jar wordcount input output运行成功。

     5 我看网上查看结果是hadoop fs -cat output/part-r-00000 ,但是我的这个结果却只是:
     word    1
还有几个单词是在其他的part里面,我的想象中应该都是在一起的,难道不是吗。,,

猜你喜欢

转载自huangyunbin.iteye.com/blog/1880073