一行代码影响百万级数据获取入库

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010050174/article/details/84644182

背景:
从rabbitMQ 队列获取数据,每天300万数据,解析入库之后,再入Mongo 作为原始数据。
正常不会有队列堆积
在这里插入图片描述
问题:
一次更新代码后上线之后,队列堆积开始堆积,无法及时解析入库,而且队列不断在堆积。问同事,看了同事的代码,发现也没有加特别影响效率的代码。

但还原了了版本,再上线,发现队列解析入库立马提升了解析效率。队列开始下降。那最后还是确定是一定是加的代码有问题。

怀疑:
后来查到是mongoDao.createIndex(); 同事说,这个创建索引只会创建一次,之后就不会创建了。其他程序也创建了,队列也不堆积。

解决
后来抱着试一试的态度,就把该行代码注释掉,上线了。果然,就是这行代码影响的。

看来这个创建索引代码水有点深。就这行代码,晚上加班两小时。

猜你喜欢

转载自blog.csdn.net/u010050174/article/details/84644182