MyBatis Oracle批量插入数据

导语：在开发中或多或少都会遇到数据批量插入的功能，最近我在做项目的过程中就遇到了这样一个问题。上传Excel文件，解析文件内容并将解析的内容插入数据库。

思路分析

1.解析Excel文件
Excel文件解析使用apache.poi包下的工具，maven工程只需要在pom.xml添加下列依赖就可以

<!--Excel解析-->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.14</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.14</version>
        </dependency>

具体解析逻辑不是本文讨论的重点，暂时忽略。

2.封装数据
也不是本文讨论重点
3.插入数据到数据库
我们知道Oracle数据库批量插入有两种方式，第一种方式循环insert，效率低的要死。我这里讨论的是第二种方式。
最初我采用的如下方式：foreach

<insert id="addList" parameterType="java.util.List" useGeneratedKeys="false">
        INTO T_APPLAUD
        (
            ID,
            USER_ID,
            BUSINESS_TYPE,
            PRODUCT_ID,
            CREATE_TIME
        ) VALUES
    <foreach collection="list" item="wdSolr" index="index" separator=",">
            (
            #{item.id, jdbcType=NUMERIC},
            #{item.userId, jdbcType=VARCHAR},
            #{item.businessType, jdbcType=VARCHAR},
            #{item.productId, jdbcType=VARCHAR},
            #{item.createdTime, jdbcType=NUMERIC} 
        )
        </foreach>
    </insert>

代码写的很漂亮，但是效果却没有出现，直接报错：

java.sql.SQLException: ORA-00933: SQL 命令未正确结束

查阅相关资料才知道，Oracle没有这种语法。MySql对上述语法支持。所以需要将SQL做如下修改

<insert id="addList" parameterType="java.util.List" useGeneratedKeys="false">
        INSERT ALL
        <foreach item="item" index="index" collection="list">
        INTO T_APPLAUD
        (
            ID,
            USER_ID,
            BUSINESS_TYPE,
            PRODUCT_ID,
            CREATE_TIME
        ) VALUES
        (
            #{item.id, jdbcType=NUMERIC},
            #{item.userId, jdbcType=VARCHAR},
            #{item.businessType, jdbcType=VARCHAR},
            #{item.productId, jdbcType=VARCHAR},
            #{item.createdTime, jdbcType=NUMERIC} 
        )
        </foreach>
        SELECT 1 FROM DUAL
    </insert>

还有一种方式：

<insert id="addList" parameterType="java.util.List" useGeneratedKeys="false">
        INSERT INTO T_APPLAUD
        (
            ID,
            USER_ID,
            BUSINESS_TYPE,
            PRODUCT_ID,
            CREATE_TIME
        )
        <foreach item="item" index="index" collection="list" separator="union all">
        (
            SELECT 
                #{item.id},
                #{item.userId},
                #{item.businessType},
                #{item.productId},
                #{item.createdTime} 
            FROM DUAL
        )
        </foreach>
    </insert>

两种方式更推荐使用第二种方式，我在项目中就是使用的第二种方式。
但是在使用的过程中又遇到了新的问题，当插入的数据超过4000条的时候，mybatis执行的时候报错：

ORA-01745:无效的主机/绑定变量名

分析判断是因为union all插入sql太长，导致程序解析SQL出错。针对上述情况，我想到的解决方案是，分段插入提交，但是这样又会导致事务不统一。在此分享一下我的处理逻辑，代码就不粘贴了，采用伪代码的形式描述

  //将数据源分割成多个小List。
   List<List<T>> subLists = splitList(List<T> resource,int size);
//遍历subLists，分别调用批量插入方法，
   inertService.insertList(list);//这里可以采用多线程来实现，
//当所有线程全部执行完毕，检测插入条目和数据源是否相同，如果相同，插入成功，如果不同，插入异常，将异常插入的数据全部删除。

MyBatis Oracle批量插入数据

思路分析

猜你喜欢