十三、Window10下Eclipse上安装hadoop插件

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/QQB67G8COM/article/details/86617703

1、下载好:hadoop-eclipse-plugin-2.8.5.jar

2、将hadoop-eclipse-plugin-2.8.5.jar放到eclipse安装目录下的plugins文件夹内

3、重启eclipse后,就会在项目浏览器看到DFS Locations

在这里插入图片描述
问题:重启后没有DFS上图所示?
解决:删除eclipse安装目录下configuration文件夹内的org.eclipse.update文件夹 ---->more:this

4、开启Map/Reduce Locations的视图栏

在Window—>show view—>other—>MapReduce Tools
在这里插入图片描述

5、右键下面Map/Reduce Locations显示区域新建

Location name自定义的,喜欢起什么名就起什么
左边和右边的host可以填写ip或主机名,window上填写主机名需要在window上的hosts文件配置映射
50020为dfs.datanode.ipc.address的默认端口,可以查看对应版本官方文档的hdfs-default.xml默认配置文件的默认参数来确定,如果自己已经在hadoop的hdfs-site.xml配置中对这个端口进行变更就把端口改成响应的就可以了,8020是core-site.xml中的dfs端口,没有默认的,习惯上是9000
user name:填写管理hadoop的用户组名,这个也是在core-site.xml进行配置的
在这里插入图片描述
在这里插入图片描述

6、确定之后,至此安装成功

在这里插入图片描述

7、发生拒绝链接的异常排查

1)关于填写ip和主机名的问题,是否配置window下hosts文件的映射,是否配置linux下/etc/hosts文件的映射,hadoop的core-site.xml配置中填写的是否为主机名,对应好这个就木问题了
2)我的迷一般的异常,头疼了两个小时终于解决了:配置上看似没问题,就是发生拒绝链接,因为我的是单机伪分布式的
先上图:
在这里插入图片描述
上图那个配置有误,不能将127.0.0.1和自定义的master进行映射,这样填之后在window10下通过eclipse链接dfs的8020端口时会遭到拒绝。我怎么发现这个问题的?首先我防火墙关闭掉了,防火墙关闭了理应没什么问题了,hadoop已经正常跑起来了,50075和8088端口也可以访问,排查了好久最终是这样发现了问题。
在eclipse报的异常是master:8020拒绝链接,其它异常排除完了,我大胆质疑8020端口被屏蔽了,怎么会被屏蔽了?防火墙都关了,一开始采用傻瓜式的方法就是端口扫描(工具:ScanPort),50020端口因为外部计算机可以远程访问,端口肯定能被扫出来,50075能扫出来,最后发现8020和50070扫不出来。这样一下子就可以否定是eclipse上的配置问题了,问题在hadoop服务器上。可以我的hadoop能正常运行和使用啊,后来我改9000端口重启hadoop结果还是一样,奇了个怪了喵,
查看端口状态(我将8020修改为9000了,一样的):netstat -lntp 9000
发现9000端口映射的是循环地址,通过端口扫描工具扫描,发现对应为循环地址的端口一个都扫不出来,对应0.0.0.0的全部扫出来,呵呵,虽然没搞懂为啥会发生这种状况,我把master和循环地址的映射取消了,剩下的就是master对应的是局域网分发的地址,这样什么问题都没了
在这里插入图片描述
在这里插入图片描述
去掉master和循环地址的映射后(我将9000改回8000了):
在这里插入图片描述
这下eclipse就能连接了

猜你喜欢

转载自blog.csdn.net/QQB67G8COM/article/details/86617703