数据处理提高1000倍的方法
目录
1、问题来源
2、解决方法
3、优化原理
1、问题来源
今天写长线接口处理数据时每分钟能10多条数据，因现场每秒钟都会有好几条数据过来，以这样的处理速度现场已经积压了快20万条数据未处理，延时已经超过12个小时。
2、解决方法
2.1、将原来的循环处理1000条数据改成每次批量处理1000条数据。
2.2、添加多线程来提高性能。
看：现在处理1000条数据只需求46秒就可以处理完成。
3、优化原理
3.1、
旧处理逻辑：1000条数据每次循环处理。
新处理逻辑：因每次循环需要查询二次数据库，所以将1000条数据处理完成需求查询2000次数据库。现将1000条数据全部分类处理完成，最后再统一查询2次数据库即可。这样可节省99.9%的建立与关闭数据库连接时间。
3.2、添加多线程使用分时调用可大大提高处理性能。