大家好,我是被白菜拱的猪。
一个热爱学习废寝忘食头悬梁锥刺股,痴迷于学习的潇洒从容淡然coding handsome boy。
文章目录
索引优化分析
(一)性能慢
性能下降SQL慢、执行时间长、等待时间长
原因:
- 查询语句写的烂
- 索引失效:单值索引、复合索引
select * from user where name = ‘’;
create index idx_user_name on user(name);
没建索引就是胡乱排队
create idx_user_nameEmail on user(name,Email)
- 关联查询太多join(设计缺陷或不得已的需求)
- 服务器调优及各个参数设置(缓冲、线程数等)
(二)常见的Join查询
SQL执行顺序
手写:
select distinct from…where…group by…having
机读:
from…on…where…group by…having…
select distinct order by
总结:
Join图
不得不说这张图很厉害啊
具体SQL语句
inner join 只有两者的共有部分
full outer join mysql 不支持
什么样的操作既能合并又能去重?union
select * from table1 a left join table2 b on a.id = b.id
union
select * from table1 a right join table2 b on a.id = b.id
只有左边和右边那怎么写呢?
今天多学一门技术,明天少说一句求人的话
select * from table1 a left join table2 b on a.id = b.id where b.id is null
union
select * from table1 a right join table2 b on a.id = b.id where a.id is null
(三)索引简介
1、是什么?
索引(index)是帮助MySQL高效获取数据的数据结构,索引是一种数据结构。
索引的目的在于提高查询效率,可以类比字典。假如没有索引a-z开始查找
你可以简单理解为“排好序的快速查找数据结构”。查找快,排好序。
索引会影响where后面的查找和order by后面的排序。
详解:
在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据以某种方式引用数据,这样就可以在这些数据结构上实现高级查找算法,这种数据结构就是索引,Btree。
采用逻辑删除的原因:
1、为了其他部门数据分析
2、为了索引,数据改变的同时,索引也要改,就会很麻烦,影响性能。
一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上。
我们所说的索引,没有特别指明,都是指B树(多路搜索树,并不一定是二叉的)结构组织的索引。其中聚集索引,次要索引,复合索引,前缀索引,唯一索引默认都是使用B+树索引,统称索引。当然,除了B+树这种类型的索引之外,还有哈希索引(hash index)等。
解决查找和排序的功能,where 和 order by。
2、优势和劣势
优势:
(1)类似大学图书馆建书目索引,提高数据检索的效率,降低数据库的IO成本。
(2)通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗。
硬件层面:一个IO成本一个是CPU成本。
劣势:
实际上,索引也是一个表,该表保存了主键与索引字段,并指向实体表的记录,索引索引列也是要占用空间的。
虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进项insert、update和delete。因为索引在更新数据的同时,MySQL不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息。
索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间建立最优秀的索引,索引的不是一下子就建立出来的。
3、索引的分类
- 单值索引:即一个索引值包含单个列,一个表可以有多个单列索引。(即只是用一个字段来当做索引,如银行 银行卡号+身份证号 两个字段当做一个索引)
- 唯一索引:索引列的值必须唯一,但允许有空值。与主键的区别就是主键不能为空。
- 复合索引:即一个索引包含多个列
基本语法:
1.创建:CREATE [UNIQUE] INDEX indexName ON mytable(columnName);
ALTER mytable ADD [unique] INDEX [indexName] ON (columnName);
2.删除: drop index [indexName] on mytable;
3.查看:show index from tablename\G
4、索引结构
BTree树
3层的B+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。
5、哪些需要创建索引
- 主键自动建立唯一索引
- 频繁座位查询条件的字段应该创建索引
- 查询中与其他表关联的字段,外键关系建立索引
- 频繁更新的字段不适合创建索引,因为每次更新不单单是更新了记录还会更新索引
- where条件里用不到的字段不创建索引
- 单键/组合索引的选择问题,who?在高并发下倾向创建组合索引
- 查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度
- 查询中统计或者分组字段
6、哪些索引不要创建索引
1.表记录太少
2.经常增删改的表,Why:虽然提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。
3.数据重复且分布且平均的表字段(如国籍都是中国,性别男女等)因此应该只为最经常查询和最经常排序的数据列建立索引。注意,如果某个数据列包含许多重复的内容,为他建立索引就没有太大的实际效果、
假如一个表有10万行记录,有一个字段A只有T和F两种值,且每个值的分布概率大约为50%,那么对这种表A字段建索引一般不会提高数据库的查询速度、
索引的选择性是指索引列中不同值的数目与表中记录数的比。如果一个表中有2000条记录,表索引列有1980个不同的值,那么这个索引的选择性就是1980/2000=0.99。一个索引的选择性越接近于1,这个索引的效率就越高。
(四)性能分析
MySQL Query Optimizer
MySQL中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(但是他认为的最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)
MySQL常见瓶颈
CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候
IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
服务器硬件的性能瓶颈:
EXPLAIN
是什么?
使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。
厉害的程序员不仅能完成功能还能分析性能
能干嘛?
- 表的读取顺序
- 数据读取操作的操作类型
- 哪些索引可以使用
- 哪些索引被实际使用
- 表之间的引用
- 每张表有多少行被优化器查询
怎么玩?
EXPLAIN + SQL语句
执行计划包含的信息
id | select_type | table | type | possible_keys | key | key_len | ref | rows | extra |
---|---|---|---|---|---|---|---|---|---|
字段解释
id
selct查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序。
三种情况:
1. id相同,执行顺序由上向下。
2. id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行。
3. id相同不同,同时存在。derived衍生。id如果相同个,可以认为是一组,从上往下执行;在所有组中,id值越大,优先级越高,越先执行。
select_type
对应能干嘛中的2,数据读取操作的操作类型。
有哪些?SIMPLE、PRIMARY、SUBQUERY、DERIVED、UNION、UNION RESULT
查询的类型,主要是用于区别普通查询、联合查询、子查询等复杂的查询。
- SIMPLE:简单的select查询,表示查询中不包含子查询或者UNION。
- PRIMARY:查询中若包含任何复杂的子查询,最外层查询则被标记为PRIMARY(也就是最后加载的那个查询)。
- SUBQUERY:在SELECT或WHERE列表中包含了子查询。
- DERIVED:在FROM列表中包含的子查询被标记为DERIVED(衍生),MySQL会递归执行这些子查询,把这些放在临时表中。
- UNION:若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FRPM子句的子查询后,外层SELECT将被标记为DERIVED。
- UNION RESULT:从UNION表获取结果的SELECT,也就是两个UNION之后最后
type
访问类型,有ALL、index、range、ref、rq_ref、const,system、NULL
显示查询使用了何种类型,从最好到最差依次是:system>const>eq_ref>ref>range>index>ALL
ALL是全表扫描,一般来说,得保证潮汛至少达到range级别,最好能达到ref。
- system:表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,这个也可以忽略不计。
- const:表示通过索引一次就找到了,const用于比较primary key或者unique索引,因为只匹配一行数据,所以很快如将主键置于where列表,MySQL就能将该查询转为一个常量。explain select * from (select *from t1 where id = 1) d1,里面的select语句就是const,因为where id = 1一下子就查到了,外面的是system,只有一行数据。
- eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描。explain select * from t1,t2 where t1.id = t2.id。把你们CEO叫出来,只要一个人。
- ref:非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能找到多个符合条件的行,所以他应该属于查找和扫描的混合体。查询开发部门,就有多个程序员,查询CEO,只有一个,这就是eq_ref与ref的区别。
- range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引,一般就是在你的where语句中出现了between、<、>、in等的查询,这种范围扫描检索索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,结束于另一点,不用扫描全部索引。
- index:index与all区别为index类型值遍历索引树。这通常比all快,因为索引文件通常比数据文件小。也就是说虽然all和xindex 都是读全表,但是index是从索引中读取的,而all是从硬盘中读的。
- all:将遍历全表已找到匹配的行
备注:一般莱索,得保证查询至少达到range级别,最好能达到ref。
possible_keys/key
possible_keys:显示可能应用在这张表中的索引,一个或多个。查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用。
应到多少人,实到多少人,结婚应该十桌,但最后来到八桌。
key:实际使用的索引,如果为null,则没有使用索引。查询中若使用了覆盖索引,则该索引仅出现在索引列表中。
覆盖索引:要查询的字段与建的索引个数和顺序相同,只用在索引中找,不用全表扫描。
key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好、
key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的。
精度和长度相矛盾
ref
显示索引的哪一个列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查询索引列上的值。
rows
根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数
(每张表有多少行被优化器查询过)
extra
包含不适合在其他列中显示但十分重要的额外信息。
- **Using filesort(**文件内排序):说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序”。索引创建的是一楼二楼三楼,但是用的一楼、三楼没有用二楼则会出现using filesort,九死一生
- Using temporary:使用临时表保存中间结果,MySQL在对查询结果排序时使用临时表,常见于排序order by 和分组查询group by。十死无生(创建临时表对性能影响极大)
- Using index:表示相应的select操作中使用了覆盖索引(covering index),避免访问了表的数据化,效率不错,如果同时出现了using where,表明索引被用来执行索引键值的查找;如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。
- Using where:表明使用了where过滤
- using join buffer:使用了缓存
- impossible where:where子句的值总是false,不能用来获取任何元组,比如where name = “lily” and name = “shuaibi”
- select table optimized away:
- distinct:优化distinct,找到第一个就收工
覆盖索引:就是select的数据列只用从索引中就能取得,不必读取数据行,MySQL可以利用索引返回select列表中的字段,而不比根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。
注意:如果要使用覆盖索引,一定要注意select列表中只取出需要的列,不可select *,因为如果将所有字段一起做索引hi导致索引文件过大,查询性能下降。
下面的一篇的内容讲师具体如何索引优化
最后,不要光看,记得点赞。你知道的越多,你不知道的越多。
假如你喜欢我的文字,欢迎关注公众号“放开这颗白菜让我来”