hadoop集群搭建踩坑记录

一、hadoop集群搭建并启动成功后,打开namenode可视化界面失败

首先怀疑hadoop是否启动成功,jps查看

查看hadoop进程都有,namenode上使用curl命令测试端口是否工作,发现是正常的

netstat -ntlp查看端口9870也正常

在数据节点上使用curl命令测试端口,发现连接拒绝,但网络是通的

在namenode上使用firewall-cmd --list-ports查看哪些端口加了白名单,发现9870不在白名单中

把9870端口加入白名单并重启防火墙

再次尝试在浏览器打开namenode可视化界面,成功。

二、hadoop集群启动后,在可视化界面只能看到一个datanode

查看启动进程正常

首先检查datanode节点上的core-site.xml配置文件中的fs.defaultFS配置是否正确,如果是localhost要修改成master的ip地址

这里修改正确以后,还是只有一个Datanode,通过百度及检查系统配置,发现ifconfig中看到的是双ip

查看/data/hadoop-3.2.1/etc/hadoop/ifcfg-enp0s3配置文件,发现网络连接是dhcp模式

dhcp模式是有路由器分配ip地址,所以修改的ip只能用于ssh或远程连接,其他开发中用到的IP地址任然是路由器分配的ip,这里是安装虚拟机的时候配置的有问题

把BOOTPROTO改为static,并添加配置信息

IPADDR=192.168.xx.xx
NETMASK=255.255.255.0
GATEWAY=192.168.xx.1

修改后虚拟网卡配置如下:

重启hadoop集群,datanode数量正常。

猜你喜欢

转载自blog.csdn.net/noob9527/article/details/112833538