余老师带你学习大数据-Spark快速大数据处理第九章HBase第一节深刻了解HBase

HBase的应用场景及特点

HBase能做什么

在这里插入图片描述

对于HBase有两个方面,第一个方面是海量的数据存储,数据的读和写,还有数据的查询。一般HBase的数据存储量是上百亿行乘以上百万的列,也就是一个表里可以包含上百亿行和上百万的列。在关系型数据表里面,列的设计不会超过30个,如果超过30个就说明这个表的设计是有问题的,而对于HBase而言列就没有上限。第二个方面就是准实时查询,HBase基于上百亿行和上百万列的数据量基础上能够通过百毫秒的时长准确的查询。
在所有的业务之中是不是可以将所有的数据都可以放入HBase里面去呢?答案是肯定可以的。那么是不是都适合存在HBase里面去呢?HBase只针对海量数据的存储,只有当这个表里的非常大的时候,才能充分发挥HBase的特点,如果说是上万行、上百行的数据,那么就没有必要往HBase里面放了,我们普通的关系型数据库就可以解决这个问题。当然,相对于普通的关系型数据库HBase还是有很多的优势。

举例说明HBase在实际业务中的应用

在这里插入图片描述

首先第一个是交通,比如船舶的信息,船舶的信息中包含JPS的信息,把JPS的信息放到HBase数据库里面,因为JPS的信息量是非常大的,当然相比于路面上的汽车JPS信息是小的。我们为什么将船舶的信息放到HBase里面呢,是为了方便后期做数据的分析,比如说,长江的那一段的流量是非常大的,还可以通过数据分析,那些是社会船舶,那些是商会船舶等等。通过这些分析可以为航道的建设做一些辅助的帮助。
第二个就是金融,这个金融也是很好理解的,跟我们的生活也是息息相关的,特别是我们现在支付非常方便的时代中,当我们发生一笔交易的时,这些数据就可以存放到HBase中。我们的交易信息,包含了取款信息、贷款信息、消费信息、还款信息等等。只要是和我们的 银行金融系统发生交易的这些信息,都会被金融系统保留下来。
第三个就是电商,这个电商的大家就更好理解了,很多人都喜欢用淘宝
、京东,这些信息也会保留下来。比如交易信息、物流信息、个人日志上的浏览信息等等,这些信息的量非常的大,我们都可以选择放到HBase里面去。
最后一个是移动,也就是我们的电话信息。包括我们的短息和通话信息,每天还是很多的,这些都是可以放到HBase里面去的。
这就是我们现实中,比较大的应用场景基于HBase的。当然还是有很多其他的方面,当信息量非常大的时候,也是考虑HBase的。

HBase的特点

第一个就是海量数据的存储,HBase单表可以有上百亿行和上百万列的存储,这个量的存储可以通过对比关系型数据库存储的量,一般关系型数据库存储单表行是不超过五百万的,如果超过五百万是要做封表和封库的操作,列是不超过30的,如果超过30列这个表的设计是不合理的。
第二个是面向列的数据,HBase是面向列的存储和权限控制,并支持独立检索。列式存储,其中数据在表中是按照某列存储的,这样在查询只需要少数几个字段的时候,能大大减少读取的数据量。
第三个是多版本,HBase每一个列的数据存储有多个Version。
第四个是稀疏性,为空的列兵不占用存储空间,表可以设计的非常稀疏。
第五个是扩展性,底层依赖于HDFS。
第六个是高可靠性,WAL机制保证了数据写入使不会因集群异常而导致写入数据丢失;Replication机制保证了在集群出现严重的问题时,数据不会发生丢失或损坏。而且HBase底层使用HDFS,HDFS本身也有备份。
第七个是高性能,底层的LSM数据结古和Rowkey有序排列等架构上的独特设计,使得HBase具有非常高的写入性能。region切分、主键索引和缓存机制使得HBase在海量数据下具备一定的随机读取性能,该性能针对Rowkey的查询能够到达毫秒级别。
HBase的概念和定位

认识HBase在Hadoop2.x生态系统中的定位

在这里插入图片描述

在Hadoop生态系统中HBase主要做数据的存储,也是唯一的。是基于HDFS的。

HBase架构体系

在这里插入图片描述

HBase有两个主要的进程,RegionServer和Master,HBase还依赖于两个外部服务HDFS和ZooKeeper。RegionServer是管理表里的数据,也就是当一个表的数据量非常的时候,做一个分区,一个区就是对应一个region,每个region管理自己的数据。RegionServer实时的去报告我们的Master,RegionServer有一个自己的健康状态信息和RegionServer管理那些数据,要让Master实时知道。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_45810046/article/details/112947502