Mysql千万级数据快速分页查询方案

@(数据库)[mysql]

Mysql千万级数据快速分页查询方案
实际应用场景说明
1.limit方法的局限性
2.通过主键id过滤的方法
3.between and
实际应用场景说明
服务器配置 : 阿里云 2核4G mysql服务器 
生产场景 : 将mysql数据库中的文章数据进行批量化处理更新 
问题详情: 当分页数过大时查询速度很慢 
解决方法: 使用了between and 的方式来加快了查询速度

1.limit方法的局限性
select * from articles limit 100,500
> 查询0.06秒
1
2
limit是最常用的分页方法,它在执行过程中,相当于先遍历了前100个,然后取了第100到500个,舍弃了前100个.但是limit仅适用于小数据范围内的分页查询 小数据

select * from articles limit 170500,171000

查询 193s

当查询170500开始的500条数据时,因为要先查询前170500条数据,数据内容庞大,所以查询很慢
2.通过主键id过滤的方法
select * from articles where id >(select id from articles limit 170500,1) limit 500
> 查询 2.5s
1
2
这种方法的好处是首先通过id索引快速定位到了分页数据的起始位置(避免了全文检索),并且用limit 方法快速获取了从起始位置往后的500个数据。
3.between and
select * from articles where id between (select id from articles limit 170000,1) and (select id from articles limit 170500,1)
> 查询 2s
1
2
最优方法between and 前一种方法相当于是先利用id索引的优势快速定位到了分页的起始位置,然后往后截取了500条数据.between and的方法相当于也是利于id索引的优势,但是同时定位了分页的起始和终止的位置,截取了中间的信息,因此速度会更快.
--------------------- 
作者:nizz 
来源:CSDN 
原文:https://blog.csdn.net/qq_29202513/article/details/82112286 
版权声明:本文为博主原创文章,转载请附上博文链接!

猜你喜欢

转载自blog.csdn.net/u014756827/article/details/86131809