大数据之路Week10_day01 (Hbase总结 II)

Hbase是数据库

特点:

  1.面向列:Hbase是面向列的存储和权限控制,并支持独立索引。列式存储,其数据在表中是按照某列存储的,这样在查询只需要少数几个字段时,能大大减少读取的数据量。

  2.多版本:Hbase每一个列的存储有多个Version(这个版本是针对列簇来说的)。

  3.稀疏性:为空的列不占用存储空间,表可以设计得非常稀疏。

  4.扩展性:底层依赖HDFS。

  5.高可靠性:WAL机制保证了数据写入时不会因集群异常而导致写入数据丢失,Replication机制保证了在集群出现严重的问题时,数据不会发生丢失或损坏。而且Hbase底层使用HDFS,HDFS本身也有备份。

  6.高性能:底层的LSM数据结构和Rowkey有序排列等架构上的独特设计,使得Hbase具有非常高的写入性能。region切分,主键索引和缓存机制使得Hbase在海量数据下具备一定的随机读取性能,该性能真对Rowkey的查询能到达到毫秒级别。

数据量

  十亿级别的行

  百万级别的列

速度快的原因

  充分利用内存

  使用了LSM结构

  缓存机制

  文件是顺序读的

数据模型

  rowkey

    相当于MySql中的主键,唯一标识一行记录

    rowkey是字典顺序

    rowkey的长度最长是64k,但是一般推荐10-100字节

  colunm family

    一组列的集合

    列簇必须作为表的schema定义给出

    列簇是权限,存储的最小单元

  qulifier

    列

    可以动态的,随机的插入

    表定义之后没有限制列,随着值得插入也把列插入

    列必须归属某一个列簇

  timestamp

    时间戳,64位,精度是毫秒

    起版本号的作用,一个cell中可以存多个版本的数据

    时间戳可以自己当以,但是一般不推荐!!

  cell

    存储数据的最小单元(逻辑概念,实际存储中并没有这个)

    存储的是K-V格式的数据

      K:  rowkey + colunm family + qulifier + timestamp

      V:  value

    hbase的cell存储数据的时候没有类型的区分,存放的都是字节数组

架构

  hbase是主从架构

  角色

    client

      操作hbase的入口,命令行,API,并维护客户端缓存

    zookeeper

      保证任何时刻集群中有且仅有一台active的hmaster

      存储所有region的寻址入口,所有regoin元数据存储在哪一台regionserver

      监控regonserver的上线和下线信息,并实时通知Hmaster

      存储相关表的schema数据

    Hmaster

      分配region

      保证整个集群中的所有regionserver的负载均衡 

      当发现某一台regoinserver宕机之后,重新分配上面的region

      当region变大的时候,Hmaster去分配region到哪一台regionserver

    HRegionServer

      负责接受客户端的读写请求,处理对于region的IO

      当某一个region变大之后,负责等分两个region

    region

      相当于表的概念,一张表至少对应一个region

      当表的数据过大的时候,region会发生裂变

    store

      相当于列簇

      角色:

        memstore

          位于内存

          每一个store有一个memstore

        storefile

          磁盘的存储空间,将数据持久化的存储位置

          每一个region有一个或者多个storefile

          storefile可以进行合并操作

      存储结构:使用了LSM的数据模型

    WAL:

      write ahead log (预写日志)

      防止数据丢失

      先写内存,再向HDFS上溢写,但是是异步的方式

        先写到memstore,然后memstore达到一个阈值,memstore到一个消息队列中,原来的regon会生成一个新的memstore,再通过这个消息队列,向storefile中写数据,异步的方式。

读写流程

  读流程

    1、客户端向zookeeper中发送请求

    2、从ZK中拿到metadata的存储节点

    3、去存储metadata的节点获取对应的region的所在位置

    4、访问对应得regon获取数据

    5、先去memstore中查询数据,如果有,直接返回

    6、如果没有查询到结果,去blockcache查找数据,如果找到,直接返回

    7、如果没有找到,就去storefile中查找数据,并将查询到得结果缓存到blockcache中,方便下一次查询

    8、将结果返回给客户端

    注意:blockchache是缓存,有大小限制,会有淘汰机制,默认将最早得数据淘汰

  写流程

    1、client向ZK发送请求

    2、从ZK中拿到metadata得存储节点

    3、去存储metadata的节点获取对应的region所在的位置

    4、访问对应的region进行写数据

    5、首先会向WAL中写数据,写成功之后才会存储到memstore

    6、当memstore中的数据量达到阈值之后,进行溢写,溢写成storefile

    7、store file是一个个的小文件,会进行合并(minor(部分合并)   ,  major(一个regon下面的都进行合并))

    8、store file 是对Hfile的封装,Hfile是实际存储在HDFS上的数据文件

猜你喜欢

转载自www.cnblogs.com/wyh-study/p/12167407.html
ii