Eclipse远程连接Hadoop

先说下我自己laptop没有hadoop环境(虚拟机中有伪分布式,不过是为了熟悉hadoop啦),也没有像网上那样用cygwin,主要得益于实验室服务器上师兄之前搭建了hadoop集群,之前一直用xshell连接的。不过后面要写mapreduce程序的时候在本地写再打包成jar放到hadoop上跑就没法本地运行测试了。

所以这里是记录:本机eclipse远程连接hadoop集群,使用hadoop2x-eclipse-plugin插件
我系统win10,64bit,eclipse-jee-mars-1-win32-x86_64

一.本机软件安装和配置

1.安装jdk并配置环境变量
2.安装eclipse
3.安装Ant并配置
4.下载hadoop包
我的hadoop是2.6.0的,所以下载hadoop-2.6.0.tar.gz,
http://mirrors.hust.edu.cn/apache/hadoop/common/
这里自己找对应的版本,默认32bit的,但是没关系。
5.下载hadoop2x-eclipse-plugin
https://github.com/winghc/hadoop2x-eclipse-plugin,并解压到本地
6.编译hadoop-eclipse-plugin插件
第一步,hadoop2x-eclipse-plugin-master解压在D:盘打开命令行cmd,切换到D:\hadoop\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录
第二步,执行ant jar -Dversion=2.6.0 -Declipse.home=D:\tool\eclipse-jee-mars-1-win32-x86_64 -Dhadoop.home=D:\hadoop\hadoop-2.6.0\hadoop-2.6.0
第三步,编译成功生成的hadoop-eclipse-plugin-2.6.0.jar在E:\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin路径下
7.配置windows下的eclipse和插件
第一步,把hadoop-eclipse-plugin-2.6.0.jar拷贝到D:\tool\eclipse-jee-mars-1-win32-x86_64\plugins目录下,重启一下Eclipse
第二步,window->Preference->左侧Hadoop Map/Reduce->右侧browse ,选择Hadoop的安装目录
这里写图片描述
第三步,然后在eclipse的window选项卡下找到show view->other->选择Map/Reduce Tool下的Map/Reduce Location即可。同时,这时,在ProjectExplorer中可以看到一个DFSLocation的文件夹,Hadoop的HDFS文件系统的文件都会显示在这里
这里写图片描述

二.建立与hadoop的连接

1.连接之前要先确保hadoop开启,我就是刚连的时候没开启hadoop(不知道谁用了就关了),导致一直连不上,有时需要关闭防火墙
jps命令看下是否如图,
这里写图片描述
如果没东西或者少很多就是没开,打开hadoop,启动需要在 Master 节点上进行
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

2.在Map/Reduce Location右击新建一个连接
我的host,Port分别为hdfs-site.xml和core-site.cml中配置的地址和端口,另一个选项栏打对勾(选中是伪分布模式),也有的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口
hdfs-site.xml如图:
这里写图片描述
core-site.cml如图:
这里写图片描述
3.在Advanced Parameters设置
设置hadoop.tmp.dir为之前core-site.xml中的地址,如图
这里写图片描述
点击finish
4.查看连接是否成功
如果小象下面有HDFS的文件夹就成功了。
这里写图片描述

参考:
https://my.oschina.net/muou/blog/408543
http://www.2cto.com/net/201610/553127.html
https://my.oschina.net/leejun2005/blog/122775

猜你喜欢

转载自blog.csdn.net/JasonZhangOO/article/details/61619237