具体过程我就不说了,我想说下我遇到的坑:
1 删除一个文件夹怎么也删除不了,后来才知道要hadoop fs -rm -r
2 遍历文件的时候我开始是一个个ls下去,很苦逼,后来知道了hadoop fs -ls -R ,这个可以遍历所有的子文件夹的文件。
3 我用的是hadoop-2.0.3-alpha-,找了半天wordcount也没找到,据说是在example下,但是example我也没找见,后来才在share\hadoop\mapreduce的目录下找到hadoop-mapreduce-examples-2.0.3-alpha.jar,这个就是传说中的wordcoout的jar包了,也省的我编译打包了。
4 运行这个jar包:hadoop jar word.jar WordCount input output,但是报错了,
报的错是:Unknown program 'WordCount' chosen. 然后网上查了下,居然是要全部小写,然后hadoop jar word.jar wordcount input output运行成功。
5 我看网上查看结果是hadoop fs -cat output/part-r-00000 ,但是我的这个结果却只是:
word 1
还有几个单词是在其他的part里面,我的想象中应该都是在一起的,难道不是吗。,,
hadoop的hello word
猜你喜欢
转载自huangyunbin.iteye.com/blog/1880073
今日推荐
周排行