问题
在Java中使用mongodb的MongoTemplate进行分页时，一般的策略是使用skip+limit的方式，但是这种方式在需要略过大量数据的时候就显得很低效（即skip趋向于变大）。
而且， 在数据查询语句中使用到了SORT排序的时候，mongo很容易内存溢出，报出如下错误：
lan executor error during find: Overflow sort stage buffered data usage of 33568573 bytes exceeds internal limit of 33554432 bytes
sort会将当前搜索出来的数据放入缓存，进行排序，如果一次性查询的输出量太大，超过33554432bytes，即报内存溢出异常
这种情况下要么去掉sort，要么减少一次性查询的输出量。
但是，sort是业务需求，能做的优化就是从一次性查询的输出量上想办法。
方法
目前我实践的有两种分页方法：
一、将上一页最后一条数据的时间戳作为搜索条件。这样做有一个局限，只能在连续跳页中使用，如果是间断式跳页，就无法满足。
二、如果skip略过量超过5000条，将搜索结果按5000条进行第一层分页，每次获取5000条数据中的最后一条数据的时间戳，用作下一次的查询条件，每次循环skip略过量就减少5000，循环直至skip少于5000条，然后再skip，代码如下：
int pageSkip = 5000;
if(s.getOffset()>pageSkip){
int offset = s.getOffset();
int cycleCount = s.getOffset()/pageSkip;
//每次查询5000条数据
long lastUpdateTime = 0;
while(cycleCount>0){
//分段查询
Query queryNew = getDBComponent().getQueryBuilder(s.getClass()).buildQuery(s);
queryNew.addCriteria(Criteria.where("dr").is(BaseObject.DR_YES));//dr 软删除下可见的数据
queryNew.with(new Sort(Sort.Direction.DESC,"lastUpdateTime"));
queryNew.skip(pageSkip);
if(lastUpdateTime!=0){
queryNew.addCriteria(Criteria.where("lastUpdateTime").lt(lastUpdateTime));
}
BaseObject baseObject = (BaseObject) getDBComponent().getMongoDao().findOne(queryNew);
lastUpdateTime = baseObject.getLastUpdateTime();
cycleCount--;
offset-=pageSkip;
}
query.skip(offset);
query.addCriteria(Criteria.where("lastUpdateTime").lt(lastUpdateTime));
}else{
query.skip(s.getOffset());
}