mongodb遍历万亿级数据,论索引的重要性

【背景】有160万用户账号数据,200万终端账号数据,需要在160万用户账号数据中排除所有账号数据,那就需要遍历 160万 * 200万 = 3200000000000 次运算 ,3万2000亿次!

用mongodbimport的upsert 命令  

mongoimport --db xxx --host xxx --port 27017 --username xxx--password xxx --collection xxx --type csv --headerline --upsertFields uid --file /data/xxx/xxx.csv --numInsertionWorkers 8 


这个命令会把找到的数据替换调,举例:原有集合 uid,aa,bb      xxx.csv 里面的数据 uid,cc     这个命令执行之后,新的集合数据为  uid,cc          数据被替换了,如果你想添加字段,弄成 uid,aa,bb,cc 这样,mongoimport这个命令貌似是不支持的,需要自己用程序实现。


言归正传,这个命令跑起来非常慢,一个小时更新几十k的数据,我突然想到用增加索引试一试,db.xxx.ensureIndex({"uid":1});   没想到啊! 这么命令执行之后,效果立竿见影,速度一下就上来了,剩下的数据,总共27.7MB (建序列之前,跑了2个多小时,跑了88KB) 40分钟跑完!


牛逼了! 索引    32k亿次运算啊


猜你喜欢

转载自blog.csdn.net/carterslam/article/details/78789704