Sqoop新增批量导入HBase功能

Sqoop导入HBase的实现是直接调用HBase的HTable.put接口,在HBase集群有压力的情况下,这个导入方式是相当慢的。到底有多慢,可以参考一下我写的一篇文章:批量Load到HBase

因此,我在Sqoop 1.4.3的基础上,添加了一种调用LoadIncrementalHFiles.doBulkLoad的bulk load功能。已经把patch提供给社区, https://issues.apache.org/jira/browse/SQOOP-1032

猜你喜欢

转载自zcdeng.iteye.com/blog/1861327
今日推荐