任务执行大数据量与高并发方案

大数据量高并发任务解决方案

场景

每个任务有十万条以上的数据，任务执行过程中对这些数据逐条做分析处理。
在同一段时间，会出现任务高并发执行，导致内存溢出

解决方案

1、分批处理
任务执行过程中，不一次性读取全量数据，只读部分数据进行处理，处理完的数据从数据列表中移除，让垃圾回收器能够回收，等待数据处理完后再读取下一批数据进行处理

2、数据缓存
任务执行过程中，读取的数据存入redis，在redis使用队列进行存储，再从队列中逐步读出数据处理并移除