【MySQL高级】索引优化分析-索引简介、性能分析

大家好,我是被白菜拱的猪。

一个热爱学习废寝忘食头悬梁锥刺股,痴迷于学习的潇洒从容淡然coding handsome boy。

索引优化分析

(一)性能慢

性能下降SQL慢、执行时间长、等待时间长

原因:

  • 查询语句写的烂
  • 索引失效:单值索引、复合索引

select * from user where name = ‘’;

create index idx_user_name on user(name);

没建索引就是胡乱排队

create idx_user_nameEmail on user(name,Email)

  • 关联查询太多join(设计缺陷或不得已的需求)
  • 服务器调优及各个参数设置(缓冲、线程数等)

(二)常见的Join查询

SQL执行顺序

手写:

select distinct from…where…group by…having

机读:

from…on…where…group by…having…

select distinct order by

总结:

在这里插入图片描述

Join图

在这里插入图片描述

不得不说这张图很厉害啊

在这里插入图片描述

具体SQL语句

inner join 只有两者的共有部分

full outer join mysql 不支持

什么样的操作既能合并又能去重?union

select * from table1 a left join table2 b on a.id = b.id

union

select * from table1 a right join table2 b on a.id = b.id

只有左边和右边那怎么写呢?

今天多学一门技术,明天少说一句求人的话

select * from table1 a left join table2 b on a.id = b.id where b.id is null

union

select * from table1 a right join table2 b on a.id = b.id where a.id is null

(三)索引简介

1、是什么?

索引(index)是帮助MySQL高效获取数据的数据结构,索引是一种数据结构。

索引的目的在于提高查询效率,可以类比字典。假如没有索引a-z开始查找

你可以简单理解为“排好序的快速查找数据结构”。查找快,排好序。

索引会影响where后面的查找和order by后面的排序。

详解:

在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据以某种方式引用数据,这样就可以在这些数据结构上实现高级查找算法,这种数据结构就是索引,Btree。

采用逻辑删除的原因:

1、为了其他部门数据分析

2、为了索引,数据改变的同时,索引也要改,就会很麻烦,影响性能。

一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上。

我们所说的索引,没有特别指明,都是指B树(多路搜索树,并不一定是二叉的)结构组织的索引。其中聚集索引,次要索引,复合索引,前缀索引,唯一索引默认都是使用B+树索引,统称索引。当然,除了B+树这种类型的索引之外,还有哈希索引(hash index)等。

解决查找和排序的功能,where 和 order by。

2、优势和劣势

优势:

(1)类似大学图书馆建书目索引,提高数据检索的效率,降低数据库的IO成本。

(2)通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗。

硬件层面:一个IO成本一个是CPU成本。

劣势:

实际上,索引也是一个表,该表保存了主键与索引字段,并指向实体表的记录,索引索引列也是要占用空间的。

虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进项insert、update和delete。因为索引在更新数据的同时,MySQL不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息。

索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间建立最优秀的索引,索引的不是一下子就建立出来的。

3、索引的分类

  1. 单值索引:即一个索引值包含单个列,一个表可以有多个单列索引。(即只是用一个字段来当做索引,如银行 银行卡号+身份证号 两个字段当做一个索引)
  2. 唯一索引:索引列的值必须唯一,但允许有空值。与主键的区别就是主键不能为空。
  3. 复合索引:即一个索引包含多个列

基本语法:

1.创建:CREATE [UNIQUE] INDEX indexName ON mytable(columnName);

ALTER mytable ADD [unique] INDEX [indexName] ON (columnName);

2.删除: drop index [indexName] on mytable;

3.查看:show index from tablename\G

4、索引结构

BTree树

在这里插入图片描述

3层的B+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。

5、哪些需要创建索引

  1. 主键自动建立唯一索引
  2. 频繁座位查询条件的字段应该创建索引
  3. 查询中与其他表关联的字段,外键关系建立索引
  4. 频繁更新的字段不适合创建索引,因为每次更新不单单是更新了记录还会更新索引
  5. where条件里用不到的字段不创建索引
  6. 单键/组合索引的选择问题,who?在高并发下倾向创建组合索引
  7. 查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度
  8. 查询中统计或者分组字段

6、哪些索引不要创建索引

1.表记录太少

2.经常增删改的表,Why:虽然提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。

3.数据重复且分布且平均的表字段(如国籍都是中国,性别男女等)因此应该只为最经常查询和最经常排序的数据列建立索引。注意,如果某个数据列包含许多重复的内容,为他建立索引就没有太大的实际效果、

假如一个表有10万行记录,有一个字段A只有T和F两种值,且每个值的分布概率大约为50%,那么对这种表A字段建索引一般不会提高数据库的查询速度、

索引的选择性是指索引列中不同值的数目与表中记录数的比。如果一个表中有2000条记录,表索引列有1980个不同的值,那么这个索引的选择性就是1980/2000=0.99。一个索引的选择性越接近于1,这个索引的效率就越高。

(四)性能分析

MySQL Query Optimizer

MySQL中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(但是他认为的最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)

MySQL常见瓶颈

CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候

IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候

服务器硬件的性能瓶颈:

EXPLAIN

是什么?

使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。

厉害的程序员不仅能完成功能还能分析性能

能干嘛?

  1. 表的读取顺序
  2. 数据读取操作的操作类型
  3. 哪些索引可以使用
  4. 哪些索引被实际使用
  5. 表之间的引用
  6. 每张表有多少行被优化器查询

怎么玩?

EXPLAIN + SQL语句

执行计划包含的信息

id select_type table type possible_keys key key_len ref rows extra

字段解释

id

selct查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序。

三种情况:

​ 1. id相同,执行顺序由上向下。

​ 2. id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行。

​ 3. id相同不同,同时存在。derived衍生。id如果相同个,可以认为是一组,从上往下执行;在所有组中,id值越大,优先级越高,越先执行。

select_type

对应能干嘛中的2,数据读取操作的操作类型。

有哪些?SIMPLE、PRIMARY、SUBQUERY、DERIVED、UNION、UNION RESULT

查询的类型,主要是用于区别普通查询、联合查询、子查询等复杂的查询。

  1. SIMPLE:简单的select查询,表示查询中不包含子查询或者UNION。
  2. PRIMARY:查询中若包含任何复杂的子查询,最外层查询则被标记为PRIMARY(也就是最后加载的那个查询)。
  3. SUBQUERY:在SELECT或WHERE列表中包含了子查询。
  4. DERIVED:在FROM列表中包含的子查询被标记为DERIVED(衍生),MySQL会递归执行这些子查询,把这些放在临时表中。
  5. UNION:若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FRPM子句的子查询后,外层SELECT将被标记为DERIVED。
  6. UNION RESULT:从UNION表获取结果的SELECT,也就是两个UNION之后最后
type

访问类型,有ALL、index、range、ref、rq_ref、const,system、NULL

显示查询使用了何种类型,从最好到最差依次是:system>const>eq_ref>ref>range>index>ALL

ALL是全表扫描,一般来说,得保证潮汛至少达到range级别,最好能达到ref。

  1. system:表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,这个也可以忽略不计。
  2. const:表示通过索引一次就找到了,const用于比较primary key或者unique索引,因为只匹配一行数据,所以很快如将主键置于where列表,MySQL就能将该查询转为一个常量。explain select * from (select *from t1 where id = 1) d1,里面的select语句就是const,因为where id = 1一下子就查到了,外面的是system,只有一行数据。
  3. eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描。explain select * from t1,t2 where t1.id = t2.id。把你们CEO叫出来,只要一个人。
  4. ref:非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能找到多个符合条件的行,所以他应该属于查找和扫描的混合体。查询开发部门,就有多个程序员,查询CEO,只有一个,这就是eq_ref与ref的区别。
  5. range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引,一般就是在你的where语句中出现了between、<、>、in等的查询,这种范围扫描检索索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,结束于另一点,不用扫描全部索引。
  6. index:index与all区别为index类型值遍历索引树。这通常比all快,因为索引文件通常比数据文件小。也就是说虽然all和xindex 都是读全表,但是index是从索引中读取的,而all是从硬盘中读的。
  7. all:将遍历全表已找到匹配的行

备注:一般莱索,得保证查询至少达到range级别,最好能达到ref。

possible_keys/key

possible_keys:显示可能应用在这张表中的索引,一个或多个。查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用。

应到多少人,实到多少人,结婚应该十桌,但最后来到八桌。

key:实际使用的索引,如果为null,则没有使用索引。查询中若使用了覆盖索引,则该索引仅出现在索引列表中。

覆盖索引:要查询的字段与建的索引个数和顺序相同,只用在索引中找,不用全表扫描。

key_len

表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好、

key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的。

精度和长度相矛盾

ref

显示索引的哪一个列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查询索引列上的值。

rows

根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数

(每张表有多少行被优化器查询过)

extra

包含不适合在其他列中显示但十分重要的额外信息。

  1. **Using filesort(**文件内排序):说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序”。索引创建的是一楼二楼三楼,但是用的一楼、三楼没有用二楼则会出现using filesort,九死一生
  2. Using temporary:使用临时表保存中间结果,MySQL在对查询结果排序时使用临时表,常见于排序order by 和分组查询group by。十死无生(创建临时表对性能影响极大)
  3. Using index:表示相应的select操作中使用了覆盖索引(covering index),避免访问了表的数据化,效率不错,如果同时出现了using where,表明索引被用来执行索引键值的查找;如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。
  4. Using where:表明使用了where过滤
  5. using join buffer:使用了缓存
  6. impossible where:where子句的值总是false,不能用来获取任何元组,比如where name = “lily” and name = “shuaibi”
  7. select table optimized away:
  8. distinct:优化distinct,找到第一个就收工

覆盖索引:就是select的数据列只用从索引中就能取得,不必读取数据行,MySQL可以利用索引返回select列表中的字段,而不比根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。

注意:如果要使用覆盖索引,一定要注意select列表中只取出需要的列,不可select *,因为如果将所有字段一起做索引hi导致索引文件过大,查询性能下降。

下面的一篇的内容讲师具体如何索引优化

最后,不要光看,记得点赞。你知道的越多,你不知道的越多。
假如你喜欢我的文字,欢迎关注公众号“放开这颗白菜让我来”

猜你喜欢

转载自blog.csdn.net/weixin_44226263/article/details/110680144