最近做了一个使用JDBC操作数据库的小项目,主要实现不同数据库的数据表之间数据复制功能.以下是一些关于性能方面的总结:
1. 进行SQL查询,当预期的结果集较大的时候,使用PreparedStatement.setFetchSize(FETCH_SIZE)或者Statement.setFetchSize(FETCH_SIZE),可以成百倍地增加性能,我自己设置的值是525
2. 当ResultSet很大的时候,而我们需要读取保存ResultSet里面的数据的时候,起初将所有的数据保存在List或者HashMap里,在进行多线程运行的时候,导致了Java heap space out of memory. 最终将数据逐行写入到CSV文件中,避免了性能问题
3. 在进行大量数据插入数据库的操作时,应该使用批量加入,一次执行的策略,代码如下:
Connection destCon = DBHelper.getDestDBCon(); destCon.setAutoCommit(false); PreparedStatement pstmt = destCon.prepareStatement(insertSql.toString()); while ((line = br.readLine())!= null) { count ++; items = line.split(","); pstmt.setString(1. items[0]); pstmt.setBigDecimal(2, new BigDecimal(items[1])) } pstmt.addBatch(); if (count%BATCH_SIZE == 0 || count == insert_size){ pstmt.executeBatch(); destCon.commit(); destCon.setAutoCommit(false); } }
并且一次性批量提交的数目是有限制的,还需要分批提交. 这样做就能大幅度提高插入的速度.
实测30万条数据插入只需要14秒
在进行以上优化以后,在使用多线程的情况下,每个线程操作几十万条数据进行读取,存储,插入,不存在性能问题
本文出自"lijingshou"博客,转载请务必保留此出处http://lijingshou.iteye.com/blog/2076882