SQL引发的惨案

版权声明:如有转载-请加微信457556886告知下就可以 知识都是分享的 https://blog.csdn.net/wolf_love666/article/details/88358963

问题的产生:

之前说过COUNT(id)怎么就成慢SQL了?如果没看的可以看下点击这里

看下面两张图对比:(先图,后SQL)
超时SQL:
在这里插入图片描述

SELECT ID, ACTIVITY_ID, APPLICANT, NAME, APPLICANT_TYPE
	, APPLY_TAG, SYNC_STATUS, EXT, ERP_PIN, PRINCIPAL
	, STATUS, CREATED, MODIFIED
FROM gold_pocket_applicant
WHERE 1 = 1
	AND ACTIVITY_ID = 706617
	AND PRINCIPAL = 'XXX'
	AND STATUS = 0
ORDER BY ID DESC
LIMIT 0, 10

这个时候你是否有疑问,这个SQL看起来没什么问题啊?平时不就是这么写的么?是不是因为数据量大导致的查询超时呢?
现在注意看我的截图,上面的查询时间5.296s,而我们通常接触过性能优化的,都知道为了提升数据库性能,以及高并发场景,我们会将0.1s作为数据库响应的标准值,超过0.1s的则会被认为是需要优化的SQL,即为慢SQL.

如果还没有看出原因,那么你需要跟着我的节奏来挖掘知识点了。敲黑板了,,,,迷糊的要醒醒了。。。
在这里插入图片描述

--SELECT ID,ACTIVITY_ID,APPLICANT,NAME,APPLICANT_TYPE,APPLY_TAG,SYNC_STATUS,EXT,ERP_PIN,PRINCIPAL,STATUS,CREATED,MODIFIED  FROM gold_pocket_applicant 
select count(*) from gold_pocket_applicant
WHERE
  1 = 1
  and ACTIVITY_ID = 706617
  and PRINCIPAL = 'XXXX'
  and STATUS = 0
--ORDER BY
--  ID DESC LIMIT 0,10;

补充:如果这个时候你问为什么不用count(id),或者count某个字段的话?出门左拐或者点击这里


对比结果:

很明显的看到的就是真实的,一共5条数据,查询SQL耗时5.296s。而我们几乎认为这条SQL没问题,非常符合我们平时的写作手法,就如同自己写的一样。(这个时候给自己给鄙视的眼神,自己咋就这么low还是当时教我们的老师low?)如果之前可以怪老师,那么现在你不了解,就怪你自己不学习啦。接着跟着我走吧。

开始分析:

从SQL上看符合语法,也能查出问题,SQL没什么问题,那么问题是超时,那么我们需要分析的就是如何优化SQL。
再来背一下基础,如何优化SQL(面试BATJ/TMD必问的问题)
1、索引

  • 主键ID索引唯一
  • 联合索引(最左原则)
  • 三星索引
  • 冗余索引和索引限制

2、查询字段全局覆盖
3、一些耗时的not in ,*,like,join等关键字(不会的,点击这里
4、减少随机IO

  • 主键ID有序

在这里插入图片描述
根据上面的流程我们知道我们的SQL是在命令解析器的时候进行处理的。
那么我们拆解下SQL命令看下有什么不同?
SQL解析原理:
这是我们目前的SQL格式:

sql格式:select, where, order by,limit
select xx from xx where xx and xx and xx order by xx desc limit xx;

1、 那么我们知道首先解析的顺序为,锁定了该表,发出信号确认是否有该表,这里没问题。

from xx

2、第一颗星需要取出所有等值谓词中的列,作为索引开头的最开始的列(任意顺序);不只是将等值谓词的列加入索引,它的作用是减少索引片的大小以减少需要扫描的数据行,这里的我们也没有问题。

where xx and xx and xx

3、第二颗星需要将 ORDER BY 列加入索引中;避免排序,减少磁盘 IO 和内存的使用问题是这里么?

order by xx desc

4、第三颗星需要将查询语句剩余的列全部加入到索引中;避免每一个索引对应的数据行都需要进行一次随机 IO 从聚集索引中读取剩余的数据;这里也可以看到没有问题

limit xx

5、过滤因子筛选出符合条件的,这里查询的全部字段,也没有问题,当然这里是可以优化到只要自己需要的字段减少过滤因子的访问IO次数。但是我们这里目前是需要全部字段,所以也不叫问题。

select xx

我们思考下,第二颗星原则,是否是这里存在了问题。我们现在把limit去掉。进行测试下,验证我们的猜想。
在这里插入图片描述
不是这里的问题。。。limit的问题么???
在这里插入图片描述

是不是发现也不是limit问题?那么是哪里出的问题呢?别卖关子了,不说打你了。。。好的那我们从他这个组合来看下。
发生了什么?
我们来看下这个存储引擎Innodb的原理,都做了什么?

在这里插入图片描述

这里提到了数据页和索引页,而我们的要查的字段信息就是在数据页,而key,id就是在索引页。
这里的知识点可以在之前的文章这里看到,点击这里

我们说下查询的流程:在这里插入图片描述
查询有两种方式,一种是索引查询(根据主键或者联合索引),一种是排序查询(order by)。
这里走的是索引查询,那么我们再回忆下之前的文章提到的重点:原文内容点击这里
在这里插入图片描述
关键点:
非覆盖索引------》回表
顺序不一致------》两次排序

在这里插入图片描述在这里插入图片描述
这个时候如果你细心会发现,咦去掉id主键时间缩短了。哦哦哦这里还有个缓存的概念,如果你查到的是缓存中有的,那么立即返回,会节省一些性能时间。因为上面已经查过一次了。

回表时间,我们可以看到之前是5.296s,现在是3.995s,也就是说回表损耗了1.3s多吧。根据我们之前提到的0.1s,这个时候已经提升了13倍。

那么还有那么多的时间的损耗,两次排序时间。
我们通过索引排序默认是正序排列,order by id desc 是倒序排列。
在这里插入图片描述

现在我们已经提升了相比较之前的接近一半的性能。
那么依然离我们的期望值很远,我们希望的是SQL不能超过0.1s。
这个时候我发现了,关键的一点,在这里插入图片描述
那么问题知道了,我们将他去掉。
在这里插入图片描述
总结下:重点知识必须背住的

当我们在执行SQL的时候,我们的SQL解析过程(没有记住看上面),
1、锁定表(from)
2、发出信号确认表的存在 (table)
3、根据谓词判断走聚族索引查询还是非聚族索引查询(where )(不会的,点击这里
4、根据索引还是order by进行排序,如果是一致最好,如果不一致,两次排序(order by)
5、limit 进行结果分页(limit)
6、根据select 过滤因子 进行page页数据的处理。(select)
而我们这里再强调下3/4/6这三个步骤,也是引发这里问题的核心。
首先这个sql千不该万不该利用了两个没有索引的字段进行等值谓词查询,导致了回表查询聚族索引,这里的随机IO消耗时间被该表6656126(现在数据库的行数)个key影响。
在这里插入图片描述
可以看到只count(*)我们都消耗了1.619s了。别说我们的mysql哥哥还做了那么多筛选。下图是我们监控超时报告,是之前的数字。
在这里插入图片描述

优化SQL,给出解决方案

第一种解决方案:
在这里插入图片描述
第二种解决方案:
在这里插入图片描述
第三种解决方案:
在这里插入图片描述
第四种解决方案:
在这里插入图片描述
第五种解决方案:
由于目前还在刷数据验证,没有截图,但是可以给principal加上冗余索引,因为不经常用。但是从索引的限制来考虑其实也不是那么好,因为该SQL用的比较少,所以不建议为了偶尔的用,加上索引。
第六种提示:

千万不能再加上limit分页或者排序。
在这里插入图片描述

所以上面需要背住的大家需要背住了哦哦哦!吃晚饭去。。。好饿!

猜你喜欢

转载自blog.csdn.net/wolf_love666/article/details/88358963