HBase极简入门

本文作者：林伟兵，叩丁狼高级讲师。原创文章，转载请注明出处。

1. HBase概述

​ 自1970年以来，RDBMS是数据存储和维护相关问题的解决方案。大数据出现后，公司意识到处理大数据的好处，并开始选择Hadoop等解决方案。其使用分布式文件系统来存储大数据，而MapReduce来处理它。Hadoop擅长存储和处理各种格式的巨大数据，如任意，半或甚至非结构化。

​ Hadoop只能执行批处理，而数据只能按顺序访问。这意味着即使是最简单的工作，也必须搜索整个数据集。一个巨大的数据集在处理时会产生另一个巨大的数据集，这也应该按顺序处理。此时，需要一种新的解决方案来访问单个时间单元（随机访问）中的任意数据点。HBase应运而生.

​ HBase是一个建立在Hadoop文件系统之上的分布式专栏数据库。它是一个开源项目，可以横向扩展。HBase是一个数据模型，类似于Google的大表，旨在提供对大量结构化数据的快速随机访问。它利用了Hadoop文件系统（HDFS）提供的容错功能。

​ 它是Hadoop生态系统的一部分，它提供对Hadoop文件系统中数据的随机实时读/写访问。可以直接或通过HBase将数据存储在HDFS中。数据使用者使用HBase随机读取/访问HDFS中的数据。HBase位于Hadoop文件系统之上，提供读写访问。在HBase中：

• 表是行的集合。
• 行是列家族的集合。
• 列家族是列的集合。
• 列是键值对的集合。

以下图像显示了面向列的数据库：

Row Key

与nosql数据库们一样,row key是用来检索记录的主键。访问HBase table中的行，只有三种方式：

1. 通过单个row key访问
2. 通过row key的range
3. 全表扫描

Row key行键可以是任意字符串，在HBase内部row key保存为 byte[ ]，并对表中的数据按照字典顺序进行排序。

列簇

​ HBase表中的每个列，都归属于某个列族。列族是表的schema的一部分，必须在使用表之前定义。列名的表示需要将列族作为前缀。例如courses:history ， courses:math。其都属于 courses 这个列族。访问控制、磁盘和内存的使用统计都是在列族层面进行的。

Cell

​ HBase中通过row key和columns确定的为一个存贮单元称为cell。由 {row key, column( = + ), version} 唯一确定的单元。cell中的数据是没有类型的，全部是byte[ ] 形式存贮。

时间戳
​ 每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。
时间戳的类型是 64位整型。时间戳由HBase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。
​ 时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个
cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBase提供了两种数据版本回收方式，用户可以
针对每个列族进行设置：

• 保存数据的最后n个版本(max Version)
• 保存最近一段时间内的版本（设置数据的生命周期TTL，类似Session）。

2. HBase集群

Region

​ 在HBase表中，按row key的范围进行划分，形成一个个的Region并进行存储。Region是HBase表切割的最小单元。Region实际上存储在RegionServer中。

RegionServer

​ 管理Region节点，一个RegionServer可以管理大约1000个Region节点。RegionServer 跑在HDFS的DataNode上，一般RegionServer 与DataNode的个数是一比一的关系。

HMaster

​ 启动时分配Region到RegionServer上；负载之后重新分配Region到RegionServer上。监控RS的状态，以便决定是否往RS上存储数据。HMaster会配置HA，并且负责执行DDL操作（表的处理）。

Zookeeper

​ 协处理器，负责HMaster的HA切换通知，负责HMaster与RegionServer的心跳机制。

Client

​ 包含了HBase的操作接口，并维护cache（如region的位置信息）来加快对Habse的访问。

3. HBase集群搭建

预先部署并启动Zookeeper集群。

1. 上传安装包到linux中。

2. 解压zookeeper并删除压缩包。（-C 输出到指定目录）

   tar -zxvf zookeeper-3.4.5.tar.gz -C apps/
   rm -f zookeeper-3.4.5.tar.gz
   

3. 删除没用到的源代码，剩下如下目录：

[root@mini3 ~]# cd /root/apps/zookeeper-3.4.5/
[root@mini3 zookeeper-3.4.5]# ll
total 1300
drwxr-xr-x. 2 root root 4096 May 9 23:36 bin
drwxr-xr-x. 2 root root 4096 May 9 23:25 conf
drwxr-xr-x. 4 root root 4096 May 9 23:21 lib
-rw-r--r--. 1 root root 1315806 May 9 23:21 zookeeper-3.4.5.jar

bin : 执行服务端/客户端的命令工具
conf:配置文件，修改zoom_sample.cfg===>zoo.cfg
lib:到时候写java代码会用到
zookeeper-3.4.5.jar： 核心开发包。

4. 打开zoo.cfg：

   # ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。
   tickTime=2000
   # Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。
   Leader允许F在initLimit时间内完成这个工作。通常情况下，我们不用太在意这个参数的设置。如果ZK
   集群的数据量确实很大了，F在启动的时候，从Leader上同步数据的时间也会相应变长，因此在这种情况
   下，有必要适当调大这个参数了。
   initLimit=10
   # 在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的
   存活状态。如果L发出心跳包在syncLimit之后，还没有从F那里收到响应，那么就认为这个F已经不在线
   了。
   syncLimit=5
   # ZK集群内部的数据一般存储在内存中，而该目录是存储内存快照的目录。默认情况下，事务日志也会存储
   在这里。
   dataDir=/root/zkdata
   # 连接ZK客户端的端口号
   clientPort=2181
   # 给集群的机器配置编号 1 2 3 (当然这里可以随便写数字) 它映射到/root/zkdata/myid文件
   # 2888端口号是领导者用来监听跟随者连接。 3888端口是用来在选举领导者阶段, 用来监听其他服务器
   的连接.
   server.1=hdp01:2888:3888
   server.2=hdp02:2888:3888
   server.3=hdp03:2888:3888
   

5. 通过scp命令将软件发给另外两台虚拟机。

   scp -r sourcePath destPath
   

6. 为每个虚拟机环境添加/root/zkdata文件夹。并在文件夹内使用命令：

   echo 编号 > myid
   

7. 在多个客户端中启动zookeeper

   # 启动zkServer
   [root@mini3 bin]# /root/apps/zookeeper/bin/zkServer.sh start
   Starting zookeeper ... STARTED
   #jps 查看java进程 QuorumPeerMain 是代表zkServer的进程
   [root@mini3 bin]# jps
   1896 QuorumPeerMain
   1913 Jps
   

8. 服务的信息保存在当前文件夹中的zookeeper.out文件中。在zk集群内部有2种角色follower和leader

   [root@mini3 bin]# /root/apps/zookeeper/bin/zkServer.sh status
   Mode: follower
   

9. 上传hbase安装包并解压。

10. 配置HBase集群，首先将Hadoop中的hdfs-site.xml和core-site.xml 放到 hbase/conf 下。

11. 修改hbase-env.sh文件：

    export JAVA_HOME=/root/apps/jdk1.7.0_55
    ##告诉HBase使用外部的zk
    export HBase_MANAGES_ZK=false
    

12. 修改 hbase-site.xml文件：

    <configuration>
    <!-- 指定HBase在HDFS上存储的路径 -->
    <property>
    <name>hbase.rootdir</name>
    <!-- 这里不要写错，否则无法启动HMaster-->
    <value>hdfs://hdp01:9000/hbase</value>
    </property>
    <!-- 指定HBase是分布式的 -->
    <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>
    <!-- 指定zk的地址，多个用“,”分割 -->
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hdp01:2181,hdp02:2181,hdp03:2181</value>
    </property>
    </configuration>
    

13. 修改 regionservers

    hdp01
    hdp02
    hdp03
    

14. 创建 backup-masters 来指定备用的主节点，实现HA模式，默认情况下，启动机制在哪台机器上运行，主节
    点在哪台机器；当主节点宕机后，备用节点就会自动切换成主节点，且主要备用主节点不宕机，一直会存活
    下去。

    vi backup-masters
    hdp02
    

15. 拷贝 HBase文件夹到其他机器上

16. 启动集群(如果发现Hregion无法正常启动，是因为集群中的机器时间不同步，可以通过date -s 00:00:00 重
    置时间)：

    ##在所有机器上启动zk集群
    ./zkServer.sh start
    ##在hdp01上启动Hadoop集群
    start-all.sh
    ##在hdp01上启动HBase，在主节点上运行：
    ./start-hbase.sh
    

17. 使用netstat -nltp 查看当前是否存在16010的端口正在运行。启动网站 http://hdp01:16010