配置集群客户端和eclips

配置集群客户端

为什么要配置集群客户端:
不建议集群内操作,如果每一次上传文件都是选择某一台DN作为客户端, 就会导致这个节点_上的磁盘以及网络I0负载超过其他的节点,久而久之这个节点的磁盘以及网卡性能远远低于其他节点,从而会导致数据的倾斜问题。
所以,一般要集群外操作,配置集群的客户端。
配置集群客户端的步骤:
1、找一台新的虚拟机、服务器,这台服务器必须能够与集群通信
2、将配置好的jkd和hadoop安装包原封不动的拷贝到新的服务器
配置步骤参考:https://mp.csdn.net/postedit/83003119
3、配置环境变量 方便操作HDFS集群
修改 .bashrc文件
4、在客户端正常操作HDFS集群就可以了

eclipse视图下操作HDFS

在搭建好HDFS完全分布式或高可用性HDFS完全分布式后。
(若未部署参考:https://mp.csdn.net/postedit/83003119)
具体步骤:
1. 在eclipse中配置hadoop插件
去官网下载相关jar包
在这里插入图片描述
找到eclipse安装目录
在这里插入图片描述
将下载的jar放入以下目录中(如果没有则自行创建)

在这里插入图片描述
2.上述步骤完成后启动eclipse
(如果已经启动则重启)
进入菜单栏 window/show view
如图:在这里插入图片描述
搜索Map/Reduce按钮并添加
在工具栏中出现如下图标则应用成功
在这里插入图片描述
在Map/Reduce窗口下添加HadoopLocation
在这里插入图片描述
LocationName 可以任意取一个
Host填写当前(active)状态下的NameNode节点主机域名
端口为:8020
点击finish,至此插件配置完成
Project Explorer 视图下出现以下窗口
在这里插入图片描述
则配置成功。

可以开心的在eclipse中操作HDFS了。

猜你喜欢

转载自blog.csdn.net/ljy_1997/article/details/83035139