七、Hbase集群
-----------安装准备--------------------------------------
首先，要有一个HDFS集群，并正常运行； regionserver应该跟hdfs中的datanode在一起
其次，还需要一个zookeeper集群，并正常运行
然后，安装HBASE
角色分配如下：
spark1: namenode datanode regionserver hmaster zookeeper
spark2: datanode regionserver zookeeper
spark3: datanode regionserver zookeeper
-----------安装hbase------------------------------------------
解压hbase安装包
-----------修改hbase-env.sh-----------------------------
export JAVA_HOME=/usr/java/latest export HBASE_MANAGES_ZK=false |
-----------修改hbase-site.xml--------------------------
<configuration> <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://spark1:9000/hbase</value> </property> <!-- 指定hbase是分布式的 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定zk的地址，多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>spark1:2181,spark2:2181,spark3:2181</value> </property> </configuration> |
-----------修改 regionservers-------------------------
增加slave的集群 vi /usr/local/hbase/regionservers
spark1 spark2 spark3 |
-----------复制hbse到其他节点-------------------------
[root@spark1 local]# scp -r hbase root@spark2:/usr/local/
-----------将配置好的hbase复制到每一个节点并同步时间-------------------
-----------启动所有hbase，前提需要启动ZooKeeper和HDFS-------------------
-----------启动hbase集群----------------------------------------
bin/start-hbase.sh
启动完后，还可以在集群中找任意一台机器启动一个备用的master
hbase-daemon.sh start master
停止：
bin/stop-hbase.sh
bin/hbase-daemon.sh start master
新启的这个master会处于backup状态
进入hbase的shell客户端：
在hbse根目录-->/bin/hbase hell
-----------通过浏览器访问Hbase管理页面----------------------------------------
http://spark1:16010
八、Sqoop工具