Windows下基于Eclipse搭建MapReduce开发环境

首先安装JDK和Eclipse,安装JDK的教程网上很多,Eclipse下在下来解压就可以。值的一提的是,JDK和Eclipse的版本需要对应起来。这里提供一个JDK安装链接:https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

JDK和Eclipse是基本的Java开发环境,为了方便项目构建和依赖管理,推荐安装Maven,这样就不用导入很多的jar包。Eclipse自带Maven,最好还是自己再安装一个。Maven的安装并集成到Eclipse的教程:https://jingyan.baidu.com/article/6b1823098d4499ba58e159e1.html

 

最关键的一步就是基于Eclipse搭建Hadoop的开发环境了。

(1)下载Hadoop-2.6.3安装包解压到磁盘,例如D:\hadoop-2.6.3

(2)安装eclipse的hadoop插件。这里有一个eclipse的Hadoop插件的云盘链接:https://pan.baidu.com/s/1fIM-8B9mBFnc9UwZa_UZOQ 密码:egtz;下载下来,拷贝到eclipse目录下的plugins目录下。

(3)启动eclipse,点开Windows->preferences,点击Hadoop Map/Reduce选项,弹出如下对话框,设置hadoop安装目录,即步骤(1)解压的目录。设置好后点击OK。 

(4)点开Windows->ShowView->Other…,弹出如下对话框。

在其中选中Map/ReduceLocations,点击OK后将成功添加Map/ReduceLocations窗口,如下图:

Location已经有了一个Hadoop大象图标,这是因为我的环境是已经安装好的。刚开始安装没有。

点击右侧的小象图标创建New Hadoop Location…,如下图,红色矩形框标记的部分。

弹出如下对话框:

红框中的内容是集群IP和端口。填写完成后点击Finish,出现如下结果:

点开Windows->Perspective->Open Perspective->Other…,弹出如下对话框。

选择Map/Reduce,在Project Explorer中添加DFSLocations,如下图:

新建工程

点开File->New->Project,为了不用导入jar包,这里创建Maven工程。

创建Maven的工程参考网上的教程:

https://www.cnblogs.com/zlslch/p/6025694.html

最后找一个WordCount程序跑一下,看看环境有没有搭好。如果成功了,就可以编写其他程序了。可能会出现问题,可能是Hadoop动态库的问题,参考这个博客解决。https://blog.csdn.net/u014728303/article/details/59058248

MapReduce任务处理流程:https://blog.csdn.net/twj0823/article/details/84403190

MapReduce的输入:https://blog.csdn.net/twj0823/article/details/84403578

MapReduce的输出:https://blog.csdn.net/twj0823/article/details/84553070

全局参数、数据文件的传递与引用:https://blog.csdn.net/twj0823/article/details/84445457

猜你喜欢

转载自blog.csdn.net/twj0823/article/details/84443780
今日推荐