hbase读写流程, regionserver内存调节

1,遇到的问题

  • hbase数据写入频繁,触发memstore刷写次数多,导致region , RS 下线,写入失败
  • hbase 发生compact ,导致RS下线,查询失败

2,hbase读写流程

通过zookeeper-client 命令行登录,查看zk中的数据:

[zk: localhost:2181(CONNECTED) 2] ls /hbase
[ meta-region-server, rs,  master, namespace, hbaseid, table .... ]

[zk: localhost:2181(CONNECTED) 3] get /hbase/master
�master:60000-��3�gNNPBUF

hadoop1�����.��
...

[zk: localhost:2181(CONNECTED) 4] ls /hbase/rs
[hadoop1,60020,1605056703882]


[zk: localhost:2181(CONNECTED) 5] get /hbase/meta-region-server
�regionserver:60020]�i~p�<PBUF

hadoop1�����.
...


[zk: localhost:2181(CONNECTED) 6] ls /hbase/namespace
[default, t1, hbase]


[zk: localhost:2181(CONNECTED) 7] get /hbase/namespace/default
�master:60000J3�g�e

default
...

3,regionserver 内存调节

思路:CDH 管理的Hbase Region Server 内存调节

  • 保存数据的是Region Server,要加大其java 堆内存:(4G); Master节点可小:(1G)
  • Region Server内存主要消耗在缓存上:(以下两者之和不能大于0.8, 否则会报错)
    hfile.block.cache.size(磁盘HFile缓存),默认0.4
    hbase.regionserver.global.memstore.size (hbase写入数据到缓存), 默认0.4

MemStore刷写触发的条件:

  • hbase.hregion.memstore.flush.size默认128M :每10s检查, 当memstore大小超出时flush
  • hbase.regionserver.global.memstore.size:当该Region Server管理的所有memstore总大小超出时flush
    在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/eyeofeagle/article/details/109626508