Hbase小记--架构设计

注意点:DML 读写不经过master;DDL经过master

HMaster

负责hbase的table region的管理
rs的region的负载均衡
region的分裂 及分裂后的region的分配
rs挂的时候 region迁移

HRegionServer

负责数据的路由、数据读写和数据的持久化
HRegionServer DN部署同一台

一个RS节点包含多个region,
一个region根据CF划分为store,
一个store包含1个memstore、0或多个storefile。

一个region只能属于一个表,在一个RS节点上

zk

存储meta表所在的RS节点和matser地址
RS主动向ZK注册,使得Mater可以随时感知RS的健康状态
HMaster HA  避免单独故障

HLog

Write Ahead Log --->简称WAL

memstore

写缓冲 QPS 3w-->40w 
region级别(store级别)
	有序,当内存满了之后flush成为一个storefile
当storefile文件数量增加到一定阈值,触发compaction-->小合并
memstore其实是一个内存结构存储,一个CF对应一个memstore,数据是字典排序
#storefile
	storefile 合并 逐步形成越来越大的storefile-->split 分裂。
#blockcache: 读缓存 
	是RS级别  一个RS只有一个blockcache,启动时完成初始化动作.
在读取数据,将数据缓存进去
发布了32 篇原创文章 · 获赞 1 · 访问量 2556

猜你喜欢

转载自blog.csdn.net/weixin_44131414/article/details/103763780