HBase架构原则

HBase架构原则

1.对列族,没有内部的KeyValue之外的元数据保存。---> 列族只保存KeyValue这一种元数据

2.HBase【0.92版本】中列族不宜过多的原因:
每个 RegionServer 包含多个 Region,每个 Region 包含多个Store,每个 Store 包含一个 MemStore 和多个 StoreFile。在 Hbase 的表中,每个列族对应 Region中的一个Store,Region的大小达到阈值时会分裂,因此如果表中有多个列族,则可能出现以下现象:
1)一个Region中有多个Store,如果每个CF的数据量分布不均匀时,比如CF1为100万,CF2为1万,则           Region分裂时导致CF2在每个Region中的数据量太少,查询CF2时会横跨多个Region导致效率降低。
2)如果每个CF的数据分布均匀,比如CF1有50万,CF2有50万,CF3有50万,则Region分裂时导致每个CF       在Region的数据量偏少,查询某个CF时会导致横跨多个Region的概率增大。
3)多个CF代表有多个Store,也就是说有多个MemStore,也就导致内存的消耗量增大,使用效率下降。
4)Region 中的 缓存刷新  压缩 是基本操作,即一个CF出现缓存刷新或压缩操作,其它CF也会同时做一样的操作,当列族太多时就会导致IO频繁的问题。
5)新版本中的flush操作是不是按照每个列族进行?

3.行键的设计
01.不建议使用单调递增的数据作为行键。这里面的个中缘由,希望自己能够记得住。如果你想将递增的数据(时序)作为主键,建议你参考openTSDB的使用原则。
02.HBase内部保存数据的特性从而决定【列族,属性,行键长度等设置】

如果一个人对HBase不很熟悉,不能期望他知道所有,打击他的自信心。等到他逐渐熟悉了,他就可以自己调这个参数了

猜你喜欢

转载自blog.csdn.net/liu16659/article/details/81075938