学习记录——eclipse通过hadoop插件连接Hadoop

由于学习需要,如果将Hadoop相关软件全安装在虚拟机上,由于电脑配置不高,会很卡顿,于是
在windows上通过eclipse-hadoop插件连接虚拟机CentOS7上安装的Hadoop

虚拟机上java的版本: jdk-7u75-linux-x64

虚拟机上hadoop的版本: hadoop-2.6.0

1.CentOS上的Hadoop安装

参考文档的操作系统是Ubuntu的,不过CentOS基本一样,
直接用自己的root用户搞就可以,不用再创建用户

2.win10eclipse安装Hadoop插件

参考文档是在Linux上安装,到windows也是差不多,就是要注意插件版本要Hadoop版本对应
安装插件时可能出现报错:
Could not create the view: org.apache.hadoop.eclipse.view.servers
我的解决是直接把workspace里的.metadata文件删除,参考


3.eclipse通过hadoop插件连接hadoop
3.1 直接通过虚拟机地址连接

新建hadoop连接配置
Location name: 连接名随意取
Host: 填的是我虚拟机的IP地址(这需要在Hadoop的配置中将localhost改为虚拟机的IP地址,代码中的路径也需要用IP地址表示,用localhost会报错如图所示

Map/Reduce(V2) Master 下的Port: 为MapReduce端口号默认50020
DFS Master下的Port: HDFS端口号默认9000
User name: 连接CentOS的用户名
参数填写参考
该参数参考图片出处
其他参考

3.2通过VMware虚拟网编辑器转发端口连接

搜索错误时受启发,使用该方法。但感觉实际意义不大。
VMware端口转发设置
转发端口连接配置
Host: 127.0.0.1为本地主机
Host: 填的是我虚拟机的IP地址(这需要在Hadoop的配置中将localhost改为虚拟机的IP地址)
Map/Reduce(V2) Master 下的Port: 这个端口相对随意,不被占用即可
DFS Master下的Port: 同样不被占用即可,端口被占用运行时会有报错
(查看被占用端口49157对应的PID,输入命令:netstat -aon|findstr "49157"
端口错误报错
User name: 当前windows用户名

参数设置无误、确认CentOS上的Hadoop启动后,进行连接
出现的错误:
出现的报错
经查询,有说这是前面的配置不正确的,也有说这是由于HDFS里没有文件的,但我不是这些原因,后网络问题连接问题解决,可正常连接。后经查询知,若相关配置无问题且运行正常,该报错可忽略。

出现问题:
出现的问题
经查询发现该问题是由于CentOS7的防火墙未关闭导致的,同时也许改了hdfs的配置

CentOS7关闭防火墙

猜你喜欢

转载自blog.csdn.net/weixin_44438341/article/details/105696022