版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_32297447/article/details/79604129
这是前面博主的总结:
基于ZK的Hadoop HA 高可用的环境搭建步骤
像中间一些无密登录,用户权限等
可参考此博客
后面会写一个shell脚本去启动、关闭、重启、查看集群的博客
一、安装前准备
集群主机规划
IP | 编号 | 安装软件 | 主机名 | 进程 |
192.168.18.27 | node1 | jdk/hadoop/hbase | 主Master27 | NameNode、DFSZKFailoverController、ResourceManager、HMaster |
192.168.18.28 | node2 | jdk/hadoop/hbase | 备份Master28 | NameNode、DFSZKFailoverController、ResourceManager、HMaster |
192.168.18.29 | node3 | jdk/hadoop/zookeeper/hbase | dn29 | DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer |
192.168.18.30 | node4 | jdk/hadoop/zookeeper/hbase | dn30 | DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer |
192.168.18.31 | node5 | jdk/hadoop/zookeeper/hbase | dn31 | DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer |
HBase 官网地址:
http://mirror.bit.edu.cn/apache/hbase/
笔者使用的HBase的版本为1.2.6
二、HBase 安装配置
node1、2、3、4、5分别安装配置HBase,以node1为例
1-配置hbase-env.sh
在配置 hbase-env.sh 前先在 hbase 的安装目录下创建两个文件,如下
$ mkdir logs # hbase 的日志目录
$ mkdir pids # hbase 的pids目录
编辑 conf/ hbase-env.sh 文件,添加如下内容
# 配置JDK安装路径
export JAVA_HOME=/home/hadoop/app/jdk
# 配置hadoop安装路径
export HADOOP_HOME=/home/hadoop/app/hadoop
# 配置hbase日志目录
export HBASE_LOG_DIR=${HBASE_HOME}/logs
# 设置HBase的pid目录
export HBASE_PID_DIR=${HBASE_HOME}/pids
# 使用独立的zookeeper集群(默认为true,即使用hbase 的内置的zk)
export HBASE_MANAGES_ZK=false
注释46、47行 *_OPTS 的两行内容(前面加符号‘#)
2.配置hbase-site.xml
$ vi hbase-site
.xml
在 configuration 节点中添加如下内容
<!-- 设置HRegionServers共享目录,用来持久化 HBase
注意:hbase.rootdir 里面的 HDFS 地址是要跟 Hadoop 的 core-site.xml 里面的
fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致
-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://cluster/hbase</value>
</property>
<!-- 设置HBase 的运行模式(false 表示单机模式,true 表示分布式模式,若为 false,HBase 和 ZooKeeper 会运行在同一个 JVM 中) -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 本地文件系统的临时文件夹(/tmp会在重启时清除) -->
<property>
<name>hbase.tmp.dir</name>
<value>/home/hadoop/app/hbase/tmp</value>
</property>
<!-- 指定ZooKeeper集群位置,多个用逗号隔开,默认为localhost -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>dn29,dn30,dn31</value>
</property>
<!-- ZooKeeper的zoo.conf中的配置(dataDir所设定的位置),快照的存储位置 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/app/zookeeper/data</value>
</property>
<!-- ZooKeeper 会话超时。Hbase 把这个值传递给 zk 集群,向它推荐一个会话的最大超时时间 -->
<property>
<name>zookeeper.session.timeout</name>
<value>120000</value>
</property>
<!-- 当 regionserver 遇到 ZooKeeper session expired , regionserver 将选择 restart 而不是 abort -->
<property>
<name>hbase.regionserver.restart.on.zk.expire</name>
<value>true</value>
</property>
3.配置regionservers
写希望运行的全部 Regionserver,一行写一个主机名(和hadoop中的slave文件一样),这里列出的 Server 会随着集群的启动而启动,集群的停止而停止
$
vim regionservers
添加如下内容
dn29dn30
dn31
配置完成后,将上述所做的hbase安装文件及配置远程拷贝到其它节点
4.配置环境变量(每个节点)
$ vi ~/.bashrc
# 配置的是用户变量
jdk、hadoop、zookeeper、hbase 所有环境变量如下
# Java Environment Variable
export JAVA_HOME=/home/hadoop/app/jdk
# Hadoop Environment Variable
export HADOOP_HOME=/home/hadoop/app/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
# HBase Environment Variable
export HBASE_HOME=//home/hadoop/app/hbase
# PATH
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin
$ source ~/bash.rc # 使环境变量立即生效
三、集群启动关闭
hadoop + zookeeper + hbase 集群启动关闭顺序如下
启动:zookeeper、hadoop、hbase
关闭:hbase、hadoop、zookeeper
1.手动启动关闭集群
启动集群
1).启动zookeeper(node3、node4、node5)
$
zkServer.sh start
2).启动journalnode(node3、node4、node5)
$
hadoop-daemon.sh start journalnode
3).格式化HDFS(node1)
注意:格式化后需要把tmp目录拷贝给node2,不然node2的namenode启动不起来,第一次启动时需要格式化
$
hdfs namenode -format
$
scp -r /home/hadoop/app/hadoop/tmp hadoop
@master28
:/home/hadoop/app/hadoop
4).格式化ZKFC(node1)
注意:第一次启动时需要格式化
$
hdfs zkfc -formatZK
5).启动HDFS(node1)
$
start-dfs.sh
6).启动YARN(node1)
$
start-yarn.sh
7).启动resourcemanager(node2)
node2的resourcemanager需要手动单独启动
$
yarn-daemon.sh start resourcemanager
8).启动主HMaster(node1)
注意:启动hbase之前,必须保证hadoop集群和zookeeper集群是可用的
sh
start-hbase.sh
9).启动备份的HMaster
在任意一台选择一台你想作为备份的HMster中启动,笔者将node2作为备份的HMaster
sh
hbase-daemon.sh start master
集群在首次启动时麻烦一点,以后再手动启动就不需要格式化hdfs 和 zkfc,之后的启动命令,总结如下
$ zkServer.sh start # node3、node4、node5
$ start-dfs.sh # node1
$ start-yarn.sh # node1
$ yarn-daemon.sh start resourcemanager # node2
$ start-hbase.sh # node1
$ hbase-daemon.sh start master # node2
关闭集群
$ hbase-daemon.sh stop master # node2
$ stop-hbase.sh # node1
$ stop-dfs.sh # node1
$ stop-yarn.sh # node1
$ yarn-daemon.sh stop resourcemanager # node2
$ zkServer.sh stop # node3、node4、node5
不管是否是第一次,集群的关闭都一样,命令如下
使用命令查看进程:netstat -ant | grep 16010
四、测试
启动成功后,输入命令 jps 查看进程,如果和主机规划中的一致则成功,反之失败。如下
***********************************************************
当前 node1 上的进程为:
2804 DFSZKFailoverController
2503 NameNode
4263 Jps
2923 ResourceManager
3182 HMaster
***********************************************************
当前 node2 上的进程为:
2587 ResourceManager
2460 DFSZKFailoverController
2860 HMaster
4220 Jps
2381 NameNode
***********************************************************
当前 node3 上的进程为:
2388 QuorumPeerMain
2516 JournalNode
2622 NodeManager
3118 Jps
2447 DataNode
***********************************************************
当前 node4 上的进程为:
2354 QuorumPeerMain
2419 DataNode
2599 NodeManager
2488 JournalNode
3356 Jps
2799 HRegionServer
***********************************************************
当前 node5 上的进程为:
2784 HRegionServer
2582 NodeManager
2410 DataNode
3389 Jps
2351 QuorumPeerMain
2479 JournalNode
使用如下命令进入hbase 的shell 客户端对hbase进行操作,后续博客中会有详细介绍
$ hbase shell # 进入hbase 的 shell 客户端
$ quit # 退出,或使用exit
高可用集群启动常见问题:
1、启动集群查看进程发现master下缺少HMaster进程,但是dn下有HRegionServer这个进程,这时去master机子下hbse检查logs文件会发现报这个问题:File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation
原有是多次执行./hdfs namenode -format 造成,解决办法手动在各个节点中删除tmp文件夹内容的内容然后从新启动datanode服务就可以启动了