Windows 7(64位) 配置Eclipse+Hadoop2.5.1开发环境

本文承接《CentOS 7 快速架设hadoop 2.5.1集群》一文。

1.增加hadoop用户并登陆。

用户名hadoop,密码 hadoop （用户要与master上一样,为测试方便可以直接放入管理员群组），同hadoop登陆系统

2.安装JDK。

安装与集群master机器相同版本的jdk：jdk-7u71-windows-x64.exe

3.安装eclipse。

将官网下的eclipse-jee-luna-SR1-win32-x86_64.zip解压到c:\eclipse,将下载的hadoop-eclipse-plugin-2.5.1.jar（网上搜下）放入c:\eclipse\plugins目录

4.修改hosts。

编辑C:\Windows\System32\drivers\etc\hosts，与master上hosts相同

5.安装本地hodoop。

将官网下的hadoop-2.5.1.tar.gz解压 C:\hadoop-2.5.1 (主要作用是提供jar包，好像/etc/hadoop里的四个XML配置无关)，配置HADOOP_HOME环境变量为C:\hadoop-2.5.1

6.安装hadoop-common-bin-master。
https://github.com/srccodes/hadoop-common-2.2.0-bin 下载hadoop-common-2.2.0-bin-master.zip (在右下角)

解压，将bin目录中所有文件放到 C:\hadoop-2.5.1\bin 将hadoop.dll放到c:\windows\system32

7.配置eclipse中hadoop目录。

单击Window-->preferences设置hadoop installation directory

 8、配置eclipse中hadoop location。
单击Window -> Open Perspective -> Other 选择、Map/Reduce， 图标是个蓝色的象。 就可以看到mapreduce视图了；接下来进行设置mapreduce开发环境，在eclipse下端，控制台旁边会多一个Tab，叫“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”，弹出配置框如图所示：
 
Location Name: master
MR Master: master 9001

DFS: master 9000

8、运行第一个程序WordCount
a.建立项目：File->New-->other-->Map/Reduce project 项目名：MR1 点完成
b.建立WordCount类：在src上点右键new-->class 弹出对话框中 packages输入 org.apache.hadoop.examples ， Name张输入WordCount，保存，关闭WordCount.java
c.偷梁换柱：然后将源代码中hadoop-2.5.1-src.tar解压出来的hadoop-2.5.1-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java 覆盖 项目中的WordCount.java.
d.建立测试文本，可多个，任意扩展名，将文本文件放入.：
 
e.然后右键 Run As -> Run configuration ，弹出配置窗口单击左边的javap Application 选择WordCount程序，然后在右侧的
Arguments Program arguments 中配置运行参数：
hdfs://master:9000/user/hadoop/input   hdfs://master:9000/user/hadoop/output 

分别对应程序输入目录和输出目录（output若存在可先删除），点击apply，然后再在wordcount上右键 ->run on hadoop 程序就能运行并在eclipse中打印日志信息了。

补充：若Eclipse运行Hadoop示例提示：

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

log4j:WARN Please initialize the log4j system properly.

说明没有log4j.properties。建立一个个放到bin目录下即可，参考内容如下：

log4j.rootLogger=debug, stdout, R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=firestorm.log

log4j.appender.R.MaxFileSize=100KB
log4j.appender.R.MaxBackupIndex=1

log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n

log4j.logger.com.codefutures=DEBUG