Hadoop开发环境搭建之Eclipse配置

0 主要参考教程

1 、厦门大学数据库实验室
2、JeffreyZhou的博客园

整个hadoop是基于Java开发的，所以要对hadoop进行一些稍微底层一点的开发，还是得编写java程序。那就必然少不了eclipse这一开发工具了。

1 安装Eclipse

1.1 在 Ubuntu 中安装 Eclipse，可从 Ubuntu 的软件中心直接搜索安装，在桌面左侧任务栏，点击“Ubuntu Software”。

1.2 直接在右上角搜索栏中，搜索“eclipse”，并点击安装，等待安装完成即可。默认的安装路劲是 /usr/lib/eclipse

2 安装Hadoop-Eclipse-Plugin

要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载hadoop2x-eclipse-plugin。下载地址：http://pan.baidu.com/s/1i4ikIoP 。

下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （或者 2.2.0 和 2.4.1 版本）复制到 Eclipse 安装目录的 plugins 文件夹中，运行eclipse -clean 重启 Eclipse 即可（添加插件后只需要运行一次该命令，以后按照正常方式启动就行了）。具体操作如下：

$ unzip -qo ~/Downloads/hadoop2x-eclipse-plugin-master.zip -d ~/Downloads# 解压到 ~/Downloads中
$ sudo cp ~/Downloads/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/    # 复制到 eclipse 安装目录的 plugins 目录下
$ /usr/lib/eclipse/eclipse -clean    # 添加插件后需要用这种方式使插件生效

3 配置Hadoop-Eclipse-Plugin

在这一步开始前，请用jps命令查看一下，确认已经开启了hadoop。
　　安装完插件，启动Eclipse后就可以在左侧的Project Explorer中看到DFS Locations了，说明上一步执行成功，接下来进行进一步的配置
　　（1）打开Window-->Preference，配置Hadoop Map/Reduce，如图所示，配置Hadoop的安装目录（即HADOOP_HOME）
　　
　　（2）切换Map/Reduce视图，打开Window-->Open Perspective-->Other，在其中选择Map/Reduce即可，此时在Eclipse软件的下面显示栏中可以看到多出来一个标签，如图所示，进行操作。
　　
　　（3）建立与Hadoop集群的连接，建立New Hadoop Location后，对其进行配置，在本例中，与参考教程中的伪分布式配置不同，在这一点上面我开始没弄明白，直到后面再eclipse上编写MR程序时，在这一点上吃了大亏，详细信息记录在问题汇总的文章里，供自己以后参考。
　　　　其中，Location name可以随便填，左侧的M/R Master按照图上所示，但右侧的DFS Master要根据配置文件（(/usr/local/hadoop/etc/hadoop/core-site.xml）中的fs.defaultFS的值来填写。

所以，此处的General配置如下：

4 Eclipse中Hadoop的基本操作

4.1 操作HDFS文件

在配置好上述步骤后，在左侧的Project Explorer中就可以直接看到HDFS的文件目录层次了，无需通过命令行进行操作，可以直接在文件/目录上右键操作。

注：

• 如果无法查看，可右键点击 Location 尝试 Reconnect 或重启 Eclipse
• HDFS 中的内容变动后，Eclipse 不会同步刷新，需要右键点击 Project Explorer中的 MapReduce Location，选择 Refresh，才能看到变动后的文件。

4.2 创建MR项目

直接新建项目就行了。File-->New-->Project在此时弹出来的选择框中选择Map/Reduce Project。后续的new package和new class都和java一样操作。

4.3 运行MR程序

在前面搭建分布式环境的几篇文章中，在单机和完全分布式环境搭建成功后，我们都拿WordCount例子进行了测试，现在又弄好了Eclipse环境，免不了再煮一次这个万能的栗子。

• （1）源程序，new class：

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

// Map过程
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{
	private final static IntWritable one = new IntWritable(1);
	private Text word = new Text();
	public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
	// key 是这一行数据的起始偏移量，value是这一行的文本内容
	System.out.println("key=" +key.toString());
	System.out.println("Value=" + value.toString());
// 切分单词，可以使用split()方法
	StringTokenizer itr = new StringTokenizer(value.toString());
//遍历单词数组，输出key-value的格式
	while (itr.hasMoreTokens()) {
		word.set(itr.nextToken());
		context.write(word, one);
	}
	}
}
// Reduce过程
public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
	private IntWritable result = new IntWritable();
	public void reduce(Text key, Iterable<IntWritable> values,Context context) 
	throws IOException, InterruptedException {
		int sum = 0;
		for (IntWritable val : values) {
			sum += val.get();
		}
		result.set(sum);
		context.write(key, result);
	}
}

// 主程序
public static void main(String[] args) throws Exception {
	Configuration conf = new Configuration();   // 配置文件
	// System.out.println("url:" + conf.get("fs.default.name"));  // deprecated
	System.out.println("url:" + conf.get("fs.defaultFS"));
	String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
	if (otherArgs.length != 2) {
		System.err.println("Usage: wordcount <in> <out>");
		System.exit(2);
	}
	// 获取一个作业
	// Job job = new Job(conf, "word count");  // deprecated
	Job job = Job.getInstance(conf,"wordcount");  // 用job的静态方法
	// 设置job所用的那些类（class）文件在哪个jar包
	job.setJarByClass(WordCount.class);
	// 设置所用的map reduce类
	job.setMapperClass(TokenizerMapper.class);
	job.setCombinerClass(IntSumReducer.class);  // 对每个节点的map输出进行combine
	job.setReducerClass(IntSumReducer.class);  // 对所有节点的输出进行reduce

// 设置数据输出类型
	job.setOutputKeyClass(Text.class);
	job.setOutputValueClass(IntWritable.class);
// 指定要处理的输入、输出路径，
	//此处为输入参数
	FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
	FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
	//此处为固定文件目录
	// FileInputFormat.addInputPath(job, "input");
	// FileOutputFormat.setOutputPath(job, "output");
// 将job提交给集群运行
	System.exit(job.waitForCompletion(true) ? 0 : 1);
}

• （2）配置。在运行此程序前，还需一项配置：将几个hadoop的配置文件（/usr/local/hadoop/etc/hadoop中）core-site.xml、hdfs-site.xml、log4j.properties这三个文件复制到所要运行的项目下的 src 文件夹下，不然无法运行程序，而且也不要将所有配置文件复制过来，那样也会出错，详细情况及解释见问题汇总篇。

$ cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src
$ cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src
$ cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src

复制完成后将项目refresh，可以看到项目目录结构如图：

• （3）运行程序。此程序为MR程序，而且程序中使用的输入、输出目录的HDFS中的文件夹，所以选择Run on Hadoop，若程序设置的的输入、输出目录为固定目录，则可以直接运行；若设置为参数，则选择Run As -> Run Configurations，

5 后记

在eclipse刚搭建好后，可以多进行一些基本的程序测试，比如对DFS文件的基本操作（读，写，判断是否存在）。下次按照参考教材，写（抄）一个倒排索引的程序。