问题1:查看 jps,里面只有HQuorumPeer,没有 HRegionServer
查看logs,master rejected startup because clock is out of sync
原因:几台机器时间对不上
解决方法:将有问题机器的时间校正
date -s xx:xx:xx
然后重启regionserver
hbase-daemon.sh --config /usr/local/hbase/hbase-conf start regionserver
问题2:Spark webUI打不开
原因1:spark ui的默认端口是4040,然后被占用了就会顺序取+1的端口,当开了多个spark程序之后,当端口号加到了4045,在chrome浏览器里面就打不开了。会返回一个UNSAFE PORT的错误信息,
其实这是浏览器禁用了你访问这个端口,程序其实是正常运行的。因此建议手工指定spark.ui.port=4046在spark-defaults.conf配置文件中,
如果4046被占用了,就从4046开始往后+1,跳过4045这个端口,避免看不到spark ui界面的困扰。
原因2:sparksubmit进程没有运行,当sparksubmit停在运行时,4040端口也就关闭了
问题3:hadoop找不到外接磁盘阵列
原因:利用df命令检查linux服务器的文件系统的磁盘空间占用情况
系统显示文件系统/dev/sdb3已经挂到系统上了 ,在/home目录下
修改worker的配置文件vim hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data,file:/mnt/dfs/data</value>
</property>
然后再关闭datanode
bin/hadoop-daemon.sh stop datanode
启动datanode
hadoop-daemon.sh start datanode
最后在master节点上更新节点
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
利用hadoop dfsadmin -report查看集群状况,检查节点容量是否更新
问题4:python3操作hbase报错
anaconda3/lib/python3.5/site-packages/hbase/Hbase.py except IOError, io:SyntaxError:invalid syntax
问题原因:python3与hbase语法不兼容
解决办法:首先要下载python3的Hbase文件,替换Hbase文件/anaconda3/lib/python3.5/site-packages/hbase/Hbase.py和ttypes.py
下载地址为:https://github.com/626626cdllp/infrastructure/tree/master/hbase
参考文献:
http://keren.iteye.com/blog/1613033
https://cloud.tencent.com/developer/article/1049221
https://blog.csdn.net/luanpeng825485697/article/details/81048468