《Hadoop》"呶呶不休"(五)Windows10下的Eclipse搭建Hadoop2.7.3开发环境

在这一章里,我们来学习如何在Windows操作系统下,搭建Hadoop2.7.3集群的Eclipse开发环境。

一、准备工作

1、安装Hadoop2.7.3集群

我们使用VMware工具安装多台Linux系统,然后在Linux系统上搭建我们所需要的Hadoop2.7.3完全分布式集群。具体步骤可以参考我写的《Hadoop》之"踽踽独行"(十)快速搭建一个Hadoop完全分布式集群或者是另一篇文章《Hadoop》之"踽踽独行"(四)CentOS 6.5搭建hadoop2.7.3集群环境

2、安装Eclipse开发工具

在Windows操作系统下安装jdk开发环境和Eclipse开发工具。Jdk我选择的是"1.8.0_191",Eclipse是photon版本。你们在版本选择上,只要不是太旧就好。

3、下载Hadoop支持Eclipse的插件

hadoop-eclipse-plugin-2.7.3.jar。可以在https://download.csdn.net/download/michael__one/10919759这个地址下载。

4、在Windows操作系统下,安装Hadoop2.7.3

在windows系统下,安装一个Hadoop2.7.3(就是解压到某一个路径下)。在里面创建四个目录备用:如_jars,_tests,_sources,_confs。

然后,在其share目录下搜索.jar文件,将查询出来的所有jar包 复制一份出来,放到_jars目录下,去重。

再从_jars目录下搜索test,将test的jar包剪切到_tests目录下。

然后继续从_jars目录下搜索sources,将sources的jar包剪切到_sources目录下。

再从share目录下搜索default.xml,将四个默认配置文件复制到_confs目录下。

这样我们就将hadoop的字节码jar包(_jars),源码(_sources),测试包(_tests),配置文件(_confs)提取出来了。

四、开始搭建Hadoop的Eclipse开发环境

第一步:关闭Eclipse,安置插件

将插件压缩包内的hadoop-eclipse-plugin-2.7.3.jar存放在eclipse的安装目录下的plugins目录内

第二步:打开Eclipse,指定Hadoop2.7.3安装路径

打开后,出现DFS Locations说明上一步操作没有问题

按下图找到位置,配置windows操作系统上解压的hadoop2.7.3。即指定到hadoop的根目录。apply and close

第三步:显示Map/Reduce Locations窗口

Window->Show View->other->搜索Map/Reduce->open

第四步:配置Hadoop集群信息

右键点击空白处->New Hadoop location:出现下面窗口

猜你喜欢

转载自blog.csdn.net/Michael__One/article/details/86501726