Solr 深度分页

其他 2018-05-07 10:47:57 阅读次数: 4

概述

长期以来，我们一直有一个深分页问题。如果直接跳到很靠后的页数，查询速度会比较慢。这是因为Solr的需要为查询从开始遍历所有数据。直到Solr的4.7这个问题一直没有一个很好的解决方案。直到solr4.7引入了游标才解决这个问题。

 

问题

深分页的问题是很清楚。Solr必须为返回的搜索结果准备一个列表，并返回它的一部分。如果该部分来源于该列表的前面并不难。但如果我们想返回第10000页（每页20条记录）的数据，Solr需要准备一个包含大小为200000（10000 * 20）的列表。这样，它不仅需要时间，还需要内存。像我们现在生产上的历史数据达到了6个亿的数据，如果直接跳转到最后一页，必定内存溢出。

 

solr4.7是怎么解决这个问题的？

答：Solr 4.7的发布改变了这一状况，引入了游标的概念。游标是一个动态结构，不需要存储在服务器上。游标包含了查询的结果的偏移量，因此，Solr的不再需要每次从头开始遍历结果直到我们想要的记录，游标的功能可以大幅提升深翻页的性能。

用法

游标的使用非常简单。在第一个查询中，我们需要传递一个额外的参数- cursorMark = *，告诉Solr返回游标。在返回中除了搜索结果，我们还可以得到nextCursorMark信息。看看下面这个例子。

[java]  view plain  copy
  1. http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=*  
[java]  view plain  copy
  1. http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=*  

 返回结果如下：

 

[java]  view plain  copy
  1. <response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">186</int>  
  5. <lst name="params">  
  6. <str name="sort">price desc,id asc</str>  
  7. <str name="q">*:*</str>  
  8. <str name="cursorMark">*</str>  
  9. <str name="rows">3</str>  
  10. </lst>  
  11. </lst>  
  12. <result name="response" numFound="4160002" start="0">  
  13. <doc>  
  14. <str name="id">a004180000</str>  
  15. <str name="name">ickes_4180000</str>  
  16. <float name="price">5180000.0</float>  
  17. <str name="price_c">5180000.0,USD</str>  
  18. <str name="url">www.eksliang.iteye4180000</str>  
  19. <long name="_version_">1483095619858857993</long>  
  20. </doc>  
  21. <doc>  
  22. <str name="id">a004179999</str>  
  23. <str name="name">ickes_4179999</str>  
  24. <float name="price">5179999.0</float>  
  25. <str name="price_c">5179999.0,USD</str>  
  26. <str name="url">www.eksliang.iteye4179999</str>  
  27. <long name="_version_">1483095619858857992</long>  
  28. </doc>  
  29. <doc>  
  30. <str name="id">a004179998</str>  
  31. <str name="name">ickes_4179998</str>  
  32. <float name="price">5179998.0</float>  
  33. <str name="price_c">5179998.0,USD</str>  
  34. <str name="url">www.eksliang.iteye4179998</str>  
  35. <long name="_version_">1483095619858857991</long>  
  36. </doc>  
  37. </result>  
  38. <str name="nextCursorMark">AoIISp4UvCphMDA0MTc5OTk4</str>  
  39. </response>  
[java]  view plain  copy
  1. <response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">186</int>  
  5. <lst name="params">  
  6. <str name="sort">price desc,id asc</str>  
  7. <str name="q">*:*</str>  
  8. <str name="cursorMark">*</str>  
  9. <str name="rows">3</str>  
  10. </lst>  
  11. </lst>  
  12. <result name="response" numFound="4160002" start="0">  
  13. <doc>  
  14. <str name="id">a004180000</str>  
  15. <str name="name">ickes_4180000</str>  
  16. <float name="price">5180000.0</float>  
  17. <str name="price_c">5180000.0,USD</str>  
  18. <str name="url">www.eksliang.iteye4180000</str>  
  19. <long name="_version_">1483095619858857993</long>  
  20. </doc>  
  21. <doc>  
  22. <str name="id">a004179999</str>  
  23. <str name="name">ickes_4179999</str>  
  24. <float name="price">5179999.0</float>  
  25. <str name="price_c">5179999.0,USD</str>  
  26. <str name="url">www.eksliang.iteye4179999</str>  
  27. <long name="_version_">1483095619858857992</long>  
  28. </doc>  
  29. <doc>  
  30. <str name="id">a004179998</str>  
  31. <str name="name">ickes_4179998</str>  
  32. <float name="price">5179998.0</float>  
  33. <str name="price_c">5179998.0,USD</str>  
  34. <str name="url">www.eksliang.iteye4179998</str>  
  35. <long name="_version_">1483095619858857991</long>  
  36. </doc>  
  37. </result>  
  38. <str name="nextCursorMark">AoIISp4UvCphMDA0MTc5OTk4</str>  
  39. </response>  
 

   我们看到，除了平时返回的结果外，还多了一个游标数据nextCursorMark，使用这个值作为我们翻下一页的参数。

在这个基础上要得到下一页数据怎么办：让cursorMark的值等于上次返回的nextCursorMark

例如现在的下一页是这样的

[java]  view plain  copy
  1. http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=AoIISp4UvCphMDA0MTc5OTk4  
[java]  view plain  copy
  1. http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=AoIISp4UvCphMDA0MTc5OTk4  

 这个时候就可以得到下一页的数据，数据如下：

[java]  view plain  copy
  1. <response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">234</int>  
  5. <lst name="params">  
  6. <str name="sort">price desc,id asc</str>  
  7. <str name="q">*:*</str>  
  8. <str name="cursorMark">AoIISp4UvCphMDA0MTc5OTk4</str>  
  9. <str name="rows">3</str>  
  10. </lst>  
  11. </lst>  
  12. <result name="response" numFound="4160002" start="0">  
  13. <doc>  
  14. <str name="id">a004179997</str>  
  15. <str name="name">ickes_4179997</str>  
  16. <float name="price">5179997.0</float>  
  17. <str name="price_c">5179997.0,USD</str>  
  18. <str name="url">www.eksliang.iteye4179997</str>  
  19. <long name="_version_">1483095619858857990</long>  
  20. </doc>  
  21. <doc>  
  22. <str name="id">a004179996</str>  
  23. <str name="name">ickes_4179996</str>  
  24. <float name="price">5179996.0</float>  
  25. <str name="price_c">5179996.0,USD</str>  
  26. <str name="url">www.eksliang.iteye4179996</str>  
  27. <long name="_version_">1483095619858857989</long>  
  28. </doc>  
  29. <doc>  
  30. <str name="id">a004179995</str>  
  31. <str name="name">ickes_4179995</str>  
  32. <float name="price">5179995.0</float>  
  33. <str name="price_c">5179995.0,USD</str>  
  34. <str name="url">www.eksliang.iteye4179995</str>  
  35. <long name="_version_">1483095619858857988</long>  
  36. </doc>  
  37. </result>  
  38. <str name="nextCursorMark">AoIISp4UtiphMDA0MTc5OTk1</str>  
  39. </response>  
[java]  view plain  copy
  1. <response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">234</int>  
  5. <lst name="params">  
  6. <str name="sort">price desc,id asc</str>  
  7. <str name="q">*:*</str>  
  8. <str name="cursorMark">AoIISp4UvCphMDA0MTc5OTk4</str>  
  9. <str name="rows">3</str>  
  10. </lst>  
  11. </lst>  
  12. <result name="response" numFound="4160002" start="0">  
  13. <doc>  
  14. <str name="id">a004179997</str>  
  15. <str name="name">ickes_4179997</str>  
  16. <float name="price">5179997.0</float>  
  17. <str name="price_c">5179997.0,USD</str>  
  18. <str name="url">www.eksliang.iteye4179997</str>  
  19. <long name="_version_">1483095619858857990</long>  
  20. </doc>  
  21. <doc>  
  22. <str name="id">a004179996</str>  
  23. <str name="name">ickes_4179996</str>  
  24. <float name="price">5179996.0</float>  
  25. <str name="price_c">5179996.0,USD</str>  
  26. <str name="url">www.eksliang.iteye4179996</str>  
  27. <long name="_version_">1483095619858857989</long>  
  28. </doc>  
  29. <doc>  
  30. <str name="id">a004179995</str>  
  31. <str name="name">ickes_4179995</str>  
  32. <float name="price">5179995.0</float>  
  33. <str name="price_c">5179995.0,USD</str>  
  34. <str name="url">www.eksliang.iteye4179995</str>  
  35. <long name="_version_">1483095619858857988</long>  
  36. </doc>  
  37. </result>  
  38. <str name="nextCursorMark">AoIISp4UtiphMDA0MTc5OTk1</str>  
  39. </response>  

 这个时候进一步查询就变得相当简单了，直接

[java]  view plain  copy
  1. http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=AoIISp4UtiphMDA0MTc5OTk1  
[java]  view plain  copy
  1. http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=AoIISp4UtiphMDA0MTc5OTk1  

 

solrj对Solr Deep Paging的支持

直接上代码 

[java]  view plain  copy
  1. static void deepPaging() throws SolrServerException{  
  2.         HttpSolrServer server = new HttpSolrServer("http://192.168.238.133:8080/solr/collection1");  
  3.         server.setSoTimeout(10000);  
  4.         server.setConnectionTimeout(10000);  
  5.         server.setDefaultMaxConnectionsPerHost(12);  
  6.         server.setAllowCompression(true);  
  7.         SolrQuery query = new SolrQuery();  
  8.         query.setQuery( "*:*" );  
  9.         query.setRows(4);  
  10.         query.addSort("price",ORDER.desc).addSort("id", ORDER.desc);  
  11.         query.set(CursorMarkParams.CURSOR_MARK_PARAM, "*");  
  12.         QueryResponse rsp = server.query( query );  
  13.         List<CursorMark> beans = rsp.getBeans(CursorMark.class);  
  14.         System.out.println(rsp.getNextCursorMark());//得到下一个游标  
  15.         for (CursorMark cursorMark : beans) {  
  16.             System.out.println(cursorMark);  
  17.         }         
  18.     }  
[java]  view plain  copy
  1. static void deepPaging() throws SolrServerException{  
  2.         HttpSolrServer server = new HttpSolrServer("http://192.168.238.133:8080/solr/collection1");  
  3.         server.setSoTimeout(10000);  
  4.         server.setConnectionTimeout(10000);  
  5.         server.setDefaultMaxConnectionsPerHost(12);  
  6.         server.setAllowCompression(true);  
  7.         SolrQuery query = new SolrQuery();  
  8.         query.setQuery( "*:*" );  
  9.         query.setRows(4);  
  10.         query.addSort("price",ORDER.desc).addSort("id", ORDER.desc);  
  11.         query.set(CursorMarkParams.CURSOR_MARK_PARAM, "*");  
  12.         QueryResponse rsp = server.query( query );  
  13.         List<CursorMark> beans = rsp.getBeans(CursorMark.class);  
  14.         System.out.println(rsp.getNextCursorMark());//得到下一个游标  
  15.         for (CursorMark cursorMark : beans) {  
  16.             System.out.println(cursorMark);  
  17.         }         
  18.     }  

 返回结果如下：

[java]  view plain  copy
  1. AoIISp4UuiphMDA0MTc5OTk3  
  2. CursorMark [id=a004180000, name=ickes_4180000, price=5180000.0, url=www.eksliang.iteye4180000]  
  3. CursorMark [id=a004179999, name=ickes_4179999, price=5179999.0, url=www.eksliang.iteye4179999]  
  4. CursorMark [id=a004179998, name=ickes_4179998, price=5179998.0, url=www.eksliang.iteye4179998]  
  5. CursorMark [id=a004179997, name=ickes_4179997, price=5179997.0, url=www.eksliang.iteye4179997]  
[java]  view plain  copy
  1. AoIISp4UuiphMDA0MTc5OTk3  
  2. CursorMark [id=a004180000, name=ickes_4180000, price=5180000.0, url=www.eksliang.iteye4180000]  
  3. CursorMark [id=a004179999, name=ickes_4179999, price=5179999.0, url=www.eksliang.iteye4179999]  
  4. CursorMark [id=a004179998, name=ickes_4179998, price=5179998.0, url=www.eksliang.iteye4179998]  
  5. CursorMark [id=a004179997, name=ickes_4179997, price=5179997.0, url=www.eksliang.iteye4179997]  

Spring+SpringData+JPA SpringMVC+Redis +Solr 个人博客

  • 1970年01月01日 08:00
-

猜你喜欢

转载自blog.csdn.net/asdfsadfasdfsa/article/details/80072533
今日推荐
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
周排行
laravle中orm简单的增删改查
文本分类 特征选取之CHI开方检验
Spark核心编程-WordCount
大数据开发实战系列之电信客服(1)
读书笔记 - 把时间当作朋友 by 李笑来
python 笔记--if else
SpringBoot/Mybatis/Druid, 多数据源MultiDataSource配置思路
排序三个整数
redis集群搭建【2】-Windows中Redis集群搭建
STM32F030驱动TM1650点亮4联数码管
每日归档
更多
2024-05-16(6)
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022