hadoop集群安装几点总结

最近装hadoop集群,出现各种问题,现在做个总结:


1、hadoop集群要奇数台。hbase.zookeeper.quorum 里面要写奇数个。


2、报错: ERROR [main]client.ConnectionManager$HConnectionImplementation: The node /hbase is not inZooKeeper. It should have been written by the master. Check the valueconfigured in 'zookeeper.znode.parent'. There could be a mismatch with the oneconfigured in the master.
的解决
参考:这里(https://blog.csdn.net/sparkexpert/article/details/52737390)
具体做法如下:


(1) 修复HBASE的元数据


到HBASE的根目录下,运行如下命令


./bin/hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair


(2) 删除zookeeper中的数据


进入zookeeper根目录下,运行 ./zkcli.sh 程序,运行rmr /hbase。


(3) 重启zookeeper与HBase,果然成功搞定。




3、关于hadoop,hbase,zookeeper的安装路径:
一般三个可以放在一层目录下,要先试用df -h命令查看硬盘的空间,最好放大一点的硬盘空间的地方,如果只有几个G,导数据的时候会报错,导不进去。
一开始我选择的/usr/local/ 下面放hadoop, hbase这些,但是空间只有十几G,导数据量比较大的表的时候,导不进去,报错:
could only be replicated to 0 nodes, instead of 1
但是导数据量比较小的数据,就不报错,这个显然是硬盘空间的问题。


打开网址:

http://<IP地址>:50070/

这个网址里能看到硬盘的使用情况Used, Remaining,Capacity等情况。

当你不断导数据进入hbase时,这里的Remaining会逐渐变小。



4、HBase, org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 这个报错的解决

我好像没解决什么,等了一会,或者重启了一下,就好了。


5、HRegionalServer在执行./stop-hbase.sh 后不能关闭的问题。

一开始我执行./stop-hbase.sh后,每台服务器的HRegionalServer都关不掉。都是单独去kill,我一开始还以为是正常的,后来环境改了很多,一切配置好了,才发现,hbase停掉后,HRegionalServer也停掉了。

所以,如果你的HRegionalServer没有随着hbase停掉,说明你哪里配置错了。


扫描二维码关注公众号,回复: 2037077 查看本文章

6、所有数据清空,hdfs格式化,一般要清空这些文件夹:

hadoop 里的dfs下面data和name底下的都删掉。

zookeeper下的data下面除了myid留下,其他都删掉。

执行hdfs格式化命令 



7、hbase启动后,jps必须有HMaster,没有的话,会有问题。很可能包zknode==null 之类的问题。


8、zkServer.sh status 的问题

几台集群,必须都zkServer.sh start之后,才能查看status,如果集群没有都start,你就开始查询status,会看不到正确状态。

另外,hadoop的master并不一定是 zookeeper的leader。



猜你喜欢

转载自blog.csdn.net/cici2013/article/details/80980924
今日推荐