BulkLoad 加载数据到HBase

Hbase支持bulk load 的入库方式,他是利用hbase 的数据信息按照特定格式存储在hdfs内这一原理,直接在HDFS中生成持久化的GFile数据格式的文件,然后上传到合适的位置,即完成巨量数据快速入库的方法。配合MapReduce完成,高效便捷而且不占用region资源,增添负载,在大数据写入时极大的提高写入效率并降低对HBase 节点的压力。
通过使用先生成Hfile 文件,然后再BulkLoad 到HBase 的方式来替代调用HTableOutputFormat 的方法有如下的好处:
(1)消除了对HBase 集群的插入压力
(2)提高了Job的运行速度,降低Job的执行时间

欢迎关注,更多福利

这里写图片描述

猜你喜欢

转载自blog.csdn.net/u012957549/article/details/86533180
今日推荐