目录
- 1、体系图
- 2、写流程
- 3、flush过程
- 4、合并过程
- 5、读过程
- 6、hmaster职责
- 7、hregionserver职责
- 8、client职责
1、体系图
2、写流程
- client向hregionserver发送写请求。
- hregionserver将数据写到hlog（write ahead log），为了数据的持久化和恢复。
- hregionserver将数据写到内存（memstore）。
- 反馈client写成功。
3、flush过程
- 当memstore数据达到阈值（1版本默认是64M，2版本默认是128M），将数据刷到硬盘，将内存中的数据删除，同时删除Hlog中的历史数据。
- 并将数据存储到hdfs中。
- 在hlog中做标记点。
4、合并过程
- 当数据块达到 4块 (默认值)，hmaster将数据块加载到本地，进行合并。
- 当合并的数据超过256M（1版本为256M, 2版本为512M），进行拆分，将拆分后的region分配给不同的hregionserver管理。
- 当hregionser宕机后，将hregionserver上的hlog拆分，然后分配给不同的hregionserver加载，修改.META. 。
- 注意：hlog会同步到hdfs。
5、读过程
- 通过zookeeper和-ROOT- .META.表定位hregionserver。
- 数据从内存和硬盘合并后返回给client。
- 数据块会缓存。
6、hmaster职责
- 管理用户对Table的增、删、改、查操作；
- 记录region在哪台Hregion server上；
- 在Region Split后，负责新Region的分配；
- 新机器加入时，管理HRegion Server的负载均衡，调整Region分布；
- 在HRegion Server宕机后，负责失效HRegion Server 上的Regions迁移。
7、hregionserver职责
- HRegion Server主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBASE中最核心的模块。
- HRegion Server管理了很多table的分区，也就是region。
8、client职责
- HBASE Client使用HBASE的RPC机制与HMaster和HRegionServer进行通信;
- 管理类操作：Client与HMaster进行RPC；
- 数据读写类操作：Client与HRegionServer进行RPC。