mongodb: "Overflow sort stage buffered data usage of 33557904 bytes exceeds internal limit of 33554"

mongodb报错：Overflow sort stage buffered data usage of 33557904 bytes exceeds internal limit of 33554432 bytes

案例1：

这个问题是由于获取的数据超出了缓存的限制导致的，有两个解决方案：

1. 来自：http://stackoverflow.com/questions/27023622/overflow-sort-stage-buffered-data-usage-exceeds-internal-limit

[plain] view plain copy

1. > use admin  
2. switched to db admin  
3. > db.runCommand( { getParameter : 1, "internalQueryExecMaxBlockingSortBytes" : 1 } )  
4. { "internalQueryExecMaxBlockingSortBytes" : 33554432, "ok" : 1 }  
5. >  db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes:50151432})  
6. { "was" : 33554432, "ok" : 1 }  

通过

internalQueryExecMaxBlockingSortBytes

增加缓存的值，但注意，这个参数只能在3.0后的版本使用。

 如果因为这个用户把整个db的默认缓存增加，那服务器的可用内存就减少，性能就减少，在经济效益上，为了解决这个用户问题而增加缓存不合算，两者只能权衡，每种方案都有利弊，取大而舍小。

2. 使用索引就能跳过32M的限制：

案例2：

给用户安装下载引擎的时候，使用的mongodb库报错，查看了相关的文档后发现了问题所在，下面是运行时报的错误：

com.mongodb.MongoException: Runner error: Overflow sort stage buffered data usage of 33554466 bytes exceeds internal limit of 33554432 bytes
        at com.mongodb.MongoException.parse(MongoException.java:82)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:292)
        at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:273)
        at com.mongodb.DBCursor._check(DBCursor.java:368)
        at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
        at com.mongodb.DBCursor.hasNext(DBCursor.java:484)
        at com.boryou.crawler.db.mongo.dao.impl.biz.MongoDAOImplBiz.find(MongoDAOImplBiz.java:316)
        at com.boryou.crawler.db.mongo.GetNeedFetchUrlFromDBThread.getNeedFetchUrls(GetNeedFetchUrlFromDBThread.java:104)
        at com.boryou.crawler.db.mongo.GetNeedFetchUrlFromDBThread.run(GetNeedFetchUrlFromDBThread.java:75)

错误分析是因为collection的数据量太大，没有建立相关的index导致的，添加index后恢复正常，具体原因可以根据报的错误日志进行分析。

db.bbs.ensureIndex( { "fetchTime" : -1, "status" : 1 } );

对fetchTime和status字段添加了index，在此运行一切正常。

转载地址1：点击打开链接

转载地址2：点击打开链接