HBase的读写原理

写操作流程:

  1. 客户端通过zookeeper的调度,向Hregion Server发送写数据的请求,在HRegion中写数据。
  2. 数据写入Hregion的Menstore,直到Menstore达到预定的阈值。
  3. Menstore中数据会被冲成成一个StoreFile
  4. 随着storeFile的数量的增多,当达到一定的阈值会触发紧凑合并操作,将多个StoreFile合成一个StoreFile,同时把版本更新和数据删除
  5. storeFile通过不断的紧凑合并,慢慢越来越多的StoreFile
  6. 单个StoreFile大小超过一定的阈值,触发拆分操作,把当前Hregion Spilled成两个新的HRegion,老的Hregion就会下线,新生成的2个HRegion会被Hmaster分配到其他的HregionServer上,使得1个Hregion的压力分到2个Hregion上。

读操作流程:

  1. 客户端访问动物园管理员,查看ROOT表,获取META表的信息
  2. 从META表中查找,获取存放目标数据的HRegion信息,从而找到HRegionServer的信息
  3. 通过HRegionServer找到相应的数据信息
  4. HRegionServer的内存分为两部分:
  1. 那种MEMSTORE
  2. bolckcache,那种MEMSTORE主要用于写操作,blockcache主要用于读操作,请求先到的memstore读取数据,再到blockcache中读取,再没有就会到StoreFile中读取,并把读取的数据放入到blockcache中。

总结:

1.Client访问Hbase上的数据的过程并不需要master参与(寻址访问zookeeper和region Server)

2.掌握仅仅维护表和区域的元数据信息,负载比较低。

猜你喜欢

转载自blog.csdn.net/abcdefghwelcome/article/details/84995172
今日推荐