转自：https://blog.csdn.net/Alice_qixin/article/details/78522700
场景：
项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式。那么总的联系方式一共用30000条左右
这里优化之前的速度是16-20分钟之间。太慢了。找了好久优化的方法。最后确定了使用mysql批量插入的方法去进行插入操作
慢的原因及解决思路：
这里慢的原因是针对本项目：
插入方式为程序遍历循环逐条插入。在mysql上检测插入一条的速度在0.02s到0.04s之间。
所以逐条插入的速度是0.03*30000条的速度是15分钟左右。
所以逐条插入是没法优化的。然后去查询优化方式。发现用批量插入的方法可以提高很大速度。
将30000条数据的插入速度提升到1-2分钟左右
这里放一个测试demo例子：
用junit测试循环插入1000条数据的时间与用批量插入插入10000条使用的时间
1普通循环插入1000条数据的时间测试
@Test
public void insertCuiji() {
List<Cuiji> list= new ArrayList<Cuiji>();
Cuiji cuiji = new Cuiji();
cuiji.setBankcode("jylh");
cuiji.setCompanycode("qixin");
for (int i = 0; i < 1000; i++) {
cuijiMapper.insertSelectiveO(cuiji, "jylh");
}
}
执行速度是38s也就是0.038*1000的速度。比较慢了
2用批量插入插入10000条使用的时间
@Test
public void insertCuiji() {
List<Cuiji> list= new ArrayList<Cuiji>();
for (int i = 0; i < 1000; i++) {
Cuiji cuiji = new Cuiji();
cuiji.setBankcode("jylh");
cuiji.setCompanycode("qixin");
list.add(cuiji);
}
cuijiMapper.insertListCuiji(list);
}
批量插入使用了0.0356s 这相当于插入一条数据的速度，所以用批量插入会大大提升数据插入速度，当有较大数据插入操作是用批量插入优化
批量插入的写法：
dao定义层方法
Integer insertListCuiji(List<Cuiji> cuiji);
mybatis 的sql写法
<insert id="insertListCuiji" parameterType="java.util.List">
INSERT INTO `case`.`t_cuiji`
( `doccode`,
`companycode`,
`bankcode`,
`notes`,
`type`)
values
<foreach collection="list" item="item" separator="," index="index">
(#{item.doccode},
#{item.companycode},
#{item.bankcode},
#{item.notes},
#{item.type})
</foreach>
</insert>
这样就能进行批量插入操作：
注：当批量操作数据量大的时候。例如我插入3w条数据要操作的数据包超过了1M会报 Mysql You can change this value on the server by setting the max_allowed_packet' variable. 异常 此时修改mysql的max_allowed_packet大小即可，详细解决方法请看：
http://blog.csdn.net/alice_qixin/article/details/78522600
或者将list分成几份去插入。