jdbc 批量插入优化

项目中有一个大数据插入的功能是通过jdbc的批处理实现的,但效率一直不理想。

最近研究了一下,做如下总结:

1) 如果id使用的是uuid,一定要保证有序。

因为通常数据库会为主键创建聚集索引。而聚集索引是用来指明数据排序规则的。所以,对于非有序的id,插入的同时会做大量的排序操作,很影响效率。

另外,我们在尝试的过程中有使用apache axis.jar 下的SimpleUUIDGen生成有序id,但该生成操作特别耗时,不推荐使用。

最后我们采取的是最简单粗暴的方法。自己写生成uuid的方法。

return new StringBuilder().append("z").append(System .currentTimeMillis()).append("-").append(System .nanoTime()).toString();

2) Open DeclarationPreparedStatement 执行executeBatch()后,记得clearBatch()

pstmt.executeBatch();
pstmt.clearBatch();

3) 对表索引进行优化

再插入的过程中,数据库会自动维护索引,会消耗一定性能。索引是一把双刃剑,请合理使用。

简要记录3点,希望对后来者有帮助。

猜你喜欢

转载自qlit.iteye.com/blog/2037600