win_eclipse_hadoop2.5.2_WordCount测试用例
- 准备
- apache-ant-x-bin
- hadoop-2.5.2
- hadoop-2.5.2-src
- hadoop2.5软件包(我这里用的时别人提供的2.6)
- hadoop-common-2.2.0-bin-master
- hadoop-eclipse-plugin-2.5.2（这个一定要和hadoop的版本一致）
环境变量配置—找不到hadoop文件错误
配置完环境变量一定要测试一下: 经历过，按教程配置环境变量，但始终不对的情况。 win10下编辑PATH：%HADOOP_HOME%/bin，没有起到作用。 后来，配置了绝对路径，解决了程序报关于找不到文件的错误。 //测试方法： 例如： 1、在hadoop.2.5.2下创建空的test.cmd 2、配置完环境变量后，重新打开cmd 3、输入 test.cmd 输出空行，则配置正确。- java
- ant
- hadoop
配置eclipse :安装hadoop-eclipse-plugin
- 将hadoop-eclipse-plugin-2.5.2.jar放到eclipse的dropins/plugins 下（没有的话，先创建plugins）
启动eclipse，会在Window/Preferences下发现Hadoop Map/Reduce。
- 点击Hadoop Map/Reduce 配置Hadoop目录
- 作用：hadoop-2.5.2所在位置，该配置是为后续创建hadoop工程，自动导入依赖hadoop-2.5.2/share下的jar服务的
- 如果后边发现没有缺jar包 import xxx错误，请重新配置该目录
或 配置java build path手动导入所有依赖的包
参考1、依赖包
参考2、如何导入依赖包
配置Map/Reduce Loatcion
我只配置了General，其中 Master 为你hadoop集群master的信息： Host: master的ip Port:不同的配置文件，可能寻找该端口的方式不一样，我这是在yarn文件中 ---maprede-site.xml DFS master port: 9000 ---core-site.xml中 user name -master的用户名- 配置文件
- DFS master port
- master port 有两个文件组合配置的–其他配置方式参考abc
- maprede-site.xml
- yarn
- maprede-site.xml
- DFS master port
- 配置文件
DFS Locatins
- 如果你的插件正常，则创建Hadoop Map/Reduce工程后，在Project Explorer正确显示hadoop的目录结构。
- 遇到的错误
- 连不上hadoop-显示本机的ip和hadoop不在一个段上，断网后，重新启动eclipse有时能够连上；
- 有时在projects explores上根本就不显示DFS Locations。
- 解决办法：请确认插件和hadoop版本一致，我这的错误就因为版本不一致造成的，更换插件后，一切正常。
- 如果你的插件正常，则创建Hadoop Map/Reduce工程后，在Project Explorer正确显示hadoop的目录结构。
创建工程，添加WordCount——具体参考
- 确保依赖包导入正确，WordCount上不会显示import错误—见前
- 配置run configuration 添加两个参数分别时输入 输出参数——-参考
hdfs://192.168.1.100:9000/user/liu/input
hdfs://192.168.1.100:9000/user/liu/output 确保存在input，并在input中添加两个文件fie1 file2 为测试用例；output会在输出结果时创建。
hadoop fs -mkdir input --创建input文件夹 //创建测试文件file1 file2,随便写进一些单词 hadoop fs -put input file1 --将本地文件上传到HDFS的input目录下 hadoop fs -put input file2在工程src现添加hadoop的配置文件—经测试，不添加也没问题
- Windows添加master hosts，否则会报出Unknown Host的错误，原因应该是我们的配置文件中都在用master,但是Windows却不知道master是谁
- run–正确结果
- 关于运行错误
- 参考
