一、hadoop集群搭建并启动成功后,打开namenode可视化界面失败
首先怀疑hadoop是否启动成功,jps查看
查看hadoop进程都有,namenode上使用curl命令测试端口是否工作,发现是正常的
netstat -ntlp查看端口9870也正常
在数据节点上使用curl命令测试端口,发现连接拒绝,但网络是通的
在namenode上使用firewall-cmd --list-ports查看哪些端口加了白名单,发现9870不在白名单中
把9870端口加入白名单并重启防火墙
再次尝试在浏览器打开namenode可视化界面,成功。
二、hadoop集群启动后,在可视化界面只能看到一个datanode
查看启动进程正常
首先检查datanode节点上的core-site.xml配置文件中的fs.defaultFS配置是否正确,如果是localhost要修改成master的ip地址
这里修改正确以后,还是只有一个Datanode,通过百度及检查系统配置,发现ifconfig中看到的是双ip
查看/data/hadoop-3.2.1/etc/hadoop/ifcfg-enp0s3配置文件,发现网络连接是dhcp模式
dhcp模式是有路由器分配ip地址,所以修改的ip只能用于ssh或远程连接,其他开发中用到的IP地址任然是路由器分配的ip,这里是安装虚拟机的时候配置的有问题
把BOOTPROTO改为static,并添加配置信息
IPADDR=192.168.xx.xx
NETMASK=255.255.255.0
GATEWAY=192.168.xx.1
修改后虚拟网卡配置如下:
重启hadoop集群,datanode数量正常。