MySQL6-Query优化

MySQL Query Optimizer

MySQL中有专门负责优化SELECT语句的优化器模块,叫做MySQL Optimizer,其主要的功能就是通过计算分析系统中收集的各种统计信息,为客户端请求的Query 给出他认为最优的执行计划,也就是他认为最优的数据检索方式。

当MySQL Optimizer接收到从Query Parser(解析器)送过来的Query之后,会根据MySQL Query语句的相应语法对该Query进行分解分析的同时,还会做很多其他的计算转化工作。如常量转化,无效内容删除,常量计算等等。所有这些工作都只为了Optimizer工作的唯一目的,分析出最优的数据检索方式,也就是我们常说的执行计划

Query语句优化基本思路和原则

  1. 优化更需要优化的Query;
  2. 定位优化对象的性能瓶颈;
  3. 明确的优化目标;
  4. 从Explain 入手;
  5. 多使用profile
  6. 永远用小结果集驱动大的结果集;
  7. 尽可能在索引中完成排序;
  8. 只取出自己需要的Columns;
  9. 仅仅使用最有效的过滤条件;
  10. 尽可能避免复杂的Join 和子查询;

充分利用Explain

ID

Query Optimizer所选定的执行计划中查询的序列号。

Select_type

所使用的查询类型,主要有以下这几种查询类型:

①DEPENDENT SUBQUERY:子查询中内层的第一个SELECT,依赖于外部查询的结果集;

②DEPENDENT UNION:子查询中的UNION,且为UNION 中从第二个SELECT 开始的后面所有SELECT,同样依赖于外部查询的结果集;

③PRIMARY:子查询中的最外层查询,注意并不是主键查询;

④SIMPLE:除子查询或者UNION之外的其他查询;

⑤SUBQUERY:子查询内层查询的第一个SELECT,结果不依赖于外部查询结果集;

⑥UNCACHEABLE SUBQUERY:结果集无法缓存的子查询;

⑦UNION:UNION语句中第二个SELECT开始的后面所有SELECT,第一个SELECT 为PRIMARY。

⑧UNION RESULT:UNION 中的合并结果;

Table

显示这一步所访问的数据库中的表的名称;

Type

告诉我们对表所使用的访问方式,主要包含如下集中类型;

  1. all:全表扫描
  2. const:读常量,且最多只会有一条记录匹配,由于是常量,所以实际上只需要读一次;
  3. eq_ref:最多只会有一条匹配结果,一般是通过主键或者唯一键索引来访问;
  4. fulltext:
  5. index:全索引扫描;
  6. index_merge:查询中同时使用两个(或更多)索引,然后对索引结果进行merge 之后再读取表数据;
  7. index_subquery:子查询中的返回结果字段组合是一个索引(或索引组合),但不是一个主键或者唯一索引;
  8. rang:索引范围扫描;
  9. ref:Join 语句中被驱动表索引引用查询;
  10. ref_or_null:与ref 的唯一区别就是在使用索引引用查询之外再增加一个空值的查询;
  11. system:系统表,表中只有一行数据;
  12. unique_subquery:子查询中的返回结果字段组合是主键或者唯一约束;

Possible_keys

该查询可以利用的索引. 如果没有任何索引可以使用,就会显示成null,这一项内容对于优化时候索引的调整非常重要;

Key

MySQL Query Optimizer 从possible_keys 中所选择使用的索引;

Key_len

被选中使用索引的索引键长度;

Ref

列出是通过常量(const),还是某个表的某个字段(如果是join)来过滤(通过key)的;

Rows

MySQL Query Optimizer 通过系统收集到的统计信息估算出来的结果集记录条数;

Extra

查询中每一步实现的额外细节信息,主要可能会是以下内容:

  1. Distinct:查找distinct 值,所以当mysql 找到了第一条匹配的结果后,将停止该值的查询而转为后面其他值的查询;
  2. Full scan on NULL key:子查询中的一种优化方式,主要在遇到无法通过索引访问null值的使用使用;
  3. Impossible WHERE noticed after reading const tables:MySQL Query Optimizer 通过收集到的统计信息判断出不可能存在结果;
  4. No tables:Query 语句中使用FROM DUAL 或者不包含任何FROM 子句;
  5. Not exists:在某些左连接中MySQL Query Optimizer 所通过改变原有Query 的组成而使用的优化方法,可以部分减少数据访问次数;
  6. Range checked for each record (index map: N):通过MySQL 官方手册的描述,当MySQL Query Optimizer 没有发现好的可以使用的索引的时候,如果发现如果来自前面的表的列值已知,可能部分索引可以使用。对前面的表的每个行组合,MySQL 检查是否可以使用range 或index_merge 访问方法来索取行。
  7. Select tables optimized away:当我们使用某些聚合函数来访问存在索引的某个字段的时候,MySQL Query Optimizer 会通过索引而直接一次定位到所需的数据行完成整个查询。当然,前提是在Query 中不能有GROUP BY 操作。如使用MIN()或者MAX()的时候;
  8. Using filesort:当我们的Query 中包含ORDER BY 操作,而且无法利用索引完成排序操作的时候,MySQL Query Optimizer 不得不选择相应的排序算法来实现。
  9. Using index:所需要的数据只需要在Index 即可全部获得而不需要再到表中取数据;
  10. Using index for group-by:数据访问和Using index 一样,所需数据只需要读取索引即可,而当Query 中使用了GROUP BY 或者DISTINCT 子句的时候,如果分组字段也在索引中,Extra 中的信息就会是Using index for group-by;
  11. Using temporary:当MySQL 在某些操作中必须使用临时表的时候,在Extra 信息中就会出现Using temporary 。主要常见于GROUP BY 和ORDER BY 等操作中。
  12. Using where:如果我们不是读取表的所有数据,或者不是仅仅通过索引就可以获取所有需要的数据,则会出现Using where 信息;
  13. Using where with pushed condition:这是一个仅仅在NDBCluster 存储引擎中才会出现的信息,而且还需要通过打开Condition Pushdown 优化功能才可能会被使用。控制参数为engine_condition_pushdown。

充分利用Profiling

要想优化一条Query,我们就需要清楚的知道这条Query 的性能瓶颈到底在哪里,是消耗的CPU计算太多,还是需要的的IO 操作太多?要想能够清楚的了解这些信息,在MySQL 5.0 和MySQL 5.1正式版中已经可以非常容易做到了,那就是通过Query Profiler 功能。

MySQL 的Query Profiler 是一个使用非常方便的Query 诊断分析工具,通过该工具可以获取一条Query 在整个执行过程中多种资源的消耗情况,如CPU,IO,IPC,SWAP 等,以及发生的PAGE FAULTS,CONTEXT SWITCHE 等等,同时还能得到该Query 执行过程中MySQL 所调用的各个函数在源文件中的位置。

①通过执行“set profiling”命令,可以开启关闭Query Profiler 功能。

②执行Query。

③show profiles获取系统中保存的所有Query 的profile 概要信息

④在获取到概要信息之后,我们就可以根据概要信息中的Query_ID 来获取某个Query 在执行过程中详细的profile 信息

Join的实现原理及优化思路

在MySQL中,只有一种Join 算法,就是大名鼎鼎的Nested Loop Join,他没有其他很多数据库所提供的Hash Join,也没有Sort Merge Join。顾名思义,Nested Loop Join 实际上就是通过驱动表的结果集作为循环基础数据,然后一条一条的通过该结果集中的数据作为过滤条件到下一个表中查询数据,然后合并结果。如果还有第三个参与Join,则再通过前两个表的Join 结果集作为循环基础数据,再一次通过循环查询条件到第三个表中查询数据,如此往复。

尽可能减少Join 语句中的Nested Loop 的循环总次数

如何减少Nested Loop 的循环总次数?最有效的办法只有一个,那就是让驱动表的结果集尽可能的小,这也正是优化基本原则之一“永远用小结果集驱动大的结果集”。

优先优化Nested Loop 的内层循环

不仅仅是在数据库的Join 中应该做的,实际上在我们优化程序语言的时候也有类似的优化原则。内层循环是循环中执行次数最多的,每次循环节约很小的资源,在整个循环中就能节约很大的资源。

保证Join 语句中被驱动表上Join 条件字段已经被索引

保证被驱动表上Join 条件字段已经被索引的目的,正是针对上面两点的考虑,只有让被驱动表的Join 条件字段被索引了,才能保证循环中每次查询都能够消耗较少的资源,这也正是优化内层循环的实际优化方法。

当无法保证被驱动表的Join 条件字段被索引且内存资源充足的前提下,不要太吝惜JoinBuffer 的设置

当在某些特殊的环境中,我们的Join 必须是All,Index,range 或者是index_merge 类型的时候,Join Buffer 就会派上用场了。在这种情况下,Join Buffer 的大小将对整个Join 语句的消耗起到非常关键的作用。

猜你喜欢

转载自blog.csdn.net/attack_breast/article/details/84526080