对于大量数据存储入库问题的解决办法

在开发过程中，有时可能会遇到这种情况，当主线程中开启了N个子线程，而每个子线程中运算分析结果的数据量特别的大，如果对于这样的大批量数据在子线程中进行入库，那么会造成大量的连接资源浪费，同时会造成数据库阻塞影响程序执行效率。这时候解决方案有两个：

将子线程中的数据统一用主线程接收，在主线程中进行入库操作。

但是这种方案争对执行完成后，数据量较小的情况，不会造成内存溢出的情况下，如果在数据量非常庞大的情况下，就会造成程序崩溃。

重新开启一个线程，这个线程是专用于数据存储入库的。

因为每个线程的执行速度是不太相同的，考虑到数据量大执行时间也偏长，所以将子线程执行入库的结果加入到数据队列中，而数据入库的这个线程就去取这个队列的值进行批量入库。此处用JAVA实现一下这个方案：

public class MainClass {
    public static void main(String[] args) {
        new Thread(new DataThread()).start();//模拟其它线程正在写数据
        new Thread(new DBThread()).start();//开启数据入库线程
    }
}

/**
 * 模拟子线程添加数据
 * @author libing
 *
 */
public class DataThread implements Runnable {

    @Override
    public void run() {
        while(true) {
            //每100ms添加当前时间戳
            DataQueue.addObject(System.currentTimeMillis());
            try {
                Thread.sleep(100);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

/**
 * 数据入库的操作线程
 * @author libing
 *
 */
public class DBThread implements Runnable {
    private static Logger logger = LoggerFactory.getLogger(DBThread.class);
    private static int MAX_OBJECT_NUM=10;//每批次最大的数据大小
    List<Object> objectList=new ArrayList<>();//
    DbDao dbDao=new DbDao();//数据库操作

    @Override
    public void run() {
        while(true) {
            try {
                if(objectList.size()<MAX_OBJECT_NUM) {
                    //当前入库的数据小于最大的要求
                    Object object = DataQueue.getObject();
                    if(object==null) {
                        //执行保存操作
                        dbDao.save(objectList);
                        objectList.clear();
                        Thread.sleep(5000);
                    }else {
                        //添加进列表
                        objectList.add(object);
                    }
                }else {
                    //执行保存操作
                    dbDao.save(objectList);
                    objectList.clear();
                    Thread.sleep(5000);
                }
            } catch (Exception e) {
                logger.error("出错",e);
            }
        }
    }
}

对于大量数据存储入库问题的解决办法

猜你喜欢