6_数据库(六)_MySQL高级

一、mysql架构

1、Mysql配置文件

2、MySQL逻辑架构

MySql可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎架构上，插件式的存储引擎架构将查询处理和其他系统任务以及数据的存储提取相分离。
对于分层的说明：

3、存储引擎

MyISAM和InnoDB对比

二、索引优化分析

1、性能下降SQL慢：（执行时间长，等待时间长）

查询语句写的烂
索引失效：
- 单值
- 复值
关联查询太多join（设计缺陷或不得已的需求）
服务器调优以及各个参数的设置（缓冲，线程数等）

2、常见的join查询：

SQL执行顺序：
- 手写：
- 机读：
- 总结：
JOIN图：（重点）
- 两张表：
- 什么叫共有，什么叫独有？
  - 共有：满足 a.dtid = b.id 的叫共有
  - A独有: A 表中所有不满足 a.deptid = b.id 连接关系的数据
- 内连接：（查询A,B共有数据）
  - SELECT * FROM A INNER JOIN B ON A.KEY = B.KEY
  - 可以看到，内连接只有9条数据，也就是两个表都有的数据，上述也等于：
  - SELECT * FROM A ，B WHERE A.KEY = B.KEY
- 左连接：（查询A,B共有数据，以及A有B没有的）
  - SELECT * FROM A LEFT JOIN B ON A.KEY = B.KEY
  - 可以看到，以左表中的数据为基准，然后匹配KEY相等的。
- 右连接：（查询AB共有数据，以及B有A没有的）
  - SELECT * FROM A RIGHT JOIN B ON A.KEY = B.KEY
  - 可以看到，以右表中的数据为基准， 然后匹配KEY相等的。
- 左独有连接：（查询A有B没有的数据）
  - SELECT * FROM A LEFT JOIN B ON A.KEY = B.KEY WHERE B.KEY IS NULL
  - 也就是左边有，右边为空的
- 右独有连接：（查询B有A没有的数据）
  - SELECT * FROM A RIGHT JOIN B ON A.KEY = B.KEY WHERE A.KEY IS NULL
- 全连接：
  - SELECT * FROM A FULL OUTER JOIN B ON A.KEY = B.KEY
  - FULL OUTER 是不支持的，但是这里可以用union方式进行查询，也就是查询共有的，左独有的，和右独有的。
- 全连接去交集：
  - SELECT * FROM A FULL OUTER JOIN B ON A.KEY = B.KEY WHERE A.KEY IS NULL OR B.KEY IS NULL
  - 可以看到，查询到左右各自的独有。

三、索引简介

定义：
- MySQL官方对索引的定义为：索引（Index）是 帮助MySQL高效获取数据的数据结构。
- 可以得到索引的本质： 索引是数据结构。
说明：
- 一般来说索引本身也很大， 不可能全部存储在内存中 ，因此索引往往以索引文件的形式 存储的磁盘上
- 我们平常所说的索引，如果没有特别指明，都是指 B树 (多路搜索树，并不一定是二叉的)结构组织的索引。其中聚集索引，次要索引，覆盖索引，复合索引，前缀索引，唯一索引默认都是使用 B+树 索引，统称索引。当然，除了B+树这种类型的索引之外，还有哈稀索引(hash index)等。
示例：
优点：
- 类似大学图书馆建书目索引，提高数据检索的效率， 降低数据库的IO成本
- 通过索引列对数据进行排序，降低数据排序的成本， 降低了CPU的消耗
缺点：
- 实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以 索引列也是要占用空间的
- 虽然索引大大提高了查询速度，同时却会 降低更新表的速度 ，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息
- 索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要 花时间研究建立最优秀的索引 ，或优化查询语句
索引分类：
- 主键索引：
  - 设定为主键后数据库会自动建立索引，innodb为聚簇索引
- 单值索引：
  - 即一个索引只包含单个列，一个表可以有多个单列索引
- 唯一索引：
  - 索引列的值必须唯一，但允许有空值
- 复合索引：
  - 即一个索引包含多个列
- 基本语法：
  - 创建：
    - ALTER mytable ADD [UNIQUE ] INDEX [indexName] ON (columnname(length))
  - 删除：
    - DROP INDEX [indexName] ON mytable;
  - 查看：
    - SHOW INDEX FROM table_name\G
  - 使用ALTER语法：
    - 有四种方式来添加数据表的索引：
    - ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。
    - ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）。
    - ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。
    - ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。
索引结构：
- BTree索引：
- Hash索引
- full-text全文索引：
- R-Tree索引：
B+Tree索引原理：
哪些情况下 要建立索 引？
- 1、主键自动建立唯一索引
- 2、频繁作为查询条件的字段应该创建索引(where 后面的语句)
- 3、查询中与其它表关联的字段， 外键关系 建立索引
- 4、单键/组合索引的选择问题，who？(在高并发下倾向创建 组合索引 )
- 5、查询中排序的字段， 排序字段 若通过索引去访问将大大提高排序速度
- 6、查询中统计或者分组字段
哪些情况下 不要建立 索引？
- 1、 表记录太少
- 2、 经常增删改的表
  - Why:提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件
- 3、 Where 条件里 用不到 的字段不创建索引
- 4、数据 重复且分布平均的表字段 ，因此应该只为最经常查询和最经常排序的数据列建立索引。
  - 注意，如果某个 数据列包含许多重复的内容 ，为它建立索引就没有太大的实际效果。

四、性能分析

MySQL常见瓶颈：
- CPU :
  - SQL中对大量数据进行比较、关联、排序、分组
- IO：
  - 实例内存满足不了缓存数据或排序等需要，导致产生大量物理 IO。
  - 查询执行效率低，扫描过多数据行。
- 锁：
  - 不适宜的锁的设置，导致线程阻塞，性能下降。
  - 死锁，线程之间交叉调用资源，导致死锁，程序卡住。
- 服务器硬件的性能瓶颈：
  - top,free, iostat和vmstat来查看系统的性能状态
Explain：
- 定义：
  - 使用EXPLAIN关键字可以 模拟优化器执行SQL查询语句 ，从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。
- 使用：
  - explain + SQL语句
  - 表头：
- 能干嘛：
  - 表的读取顺序
  - 哪些索引可以使用
  - 数据读取操作的操作类型
  - 哪些索引被实际使用
  - 表之间的引用
  - 每张表有多少行被优化器查询
- 字段说明：
  - id：
    - select查询的序列号,包含一组数字，表示查询中执行select子句或操作表的顺序
    - 三种情况：
      - id相同， 执行顺序由上至下
        
        可以看到id都为1，执行顺序为：1、3、2（table列）
      - id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
        
        因此执行顺序为：3、1、2（ table列）
      - id相同不同，同时存在
        
        所以执行顺序：t3、S1、t2
  - select_type:
    - 查询的类型，主要是用于区别普通查询、联合查询、子查询等的复杂查询
    - 分类：
      - 1、 SIMPLE：简单的 select 查询,查询中不包含子查询或者UNION
      - 2、 PRIMARY：查询中若包含任何复杂的子部分，最外层查询则被标记为Primary
      - 3、 DERIVED：在FROM列表中包含的子查询被标记为DERIVED(衍生) MySQL会递归执行这些子查询, 把结果放在 临时表里 。
      - 4、 SUBQUERY：在SELECT或WHERE列表中包含了子查询
      - 5、 DEPENDENT SUBQUERY：在SELECT或WHERE列表中包含了子查询,子查询基于外层
      - 6、 UNCACHEABLE SUBQUREY：无法被缓存的子查询
      - 7、 UNION：若第二个SELECT出现在UNION之后，则被标记为UNION；若UNION包含在FROM子句的子查询中,外层SELECT将被标记为：DERIVED
      - 8、 UNION RESULT：从UNION表获取结果的SELECT

这种范围扫描索引扫描比全表扫描要好，因为它只需要开始于索引的某一点，而结束语另一点，不用扫描全部索引。
index:
- Full Index Scan，index与ALL区别为index类型 只遍历索引树 。这通常比ALL快，因为 索引文件通常比数据文件小 。
- （也就是说虽然all和Index都是读全表，但index是从索引中读取的，而all是从硬盘中读的）
All:
- Full Table Scan，将遍历全表以找到匹配的行
index_merge:
- 在查询过程中需要多个索引组合使用，通常出现在有 or 的关键字的sql中
ref_or_null:
- 对于某个字段既需要关联条件，也需要null值得情况下。查询优化器会选择用ref_or_null连接查询。
index_subquery:
- 利用索引来关联子查询，不再全表扫描。
unique_subquery:
- 该联接类型类似于index_subquery。子查询中的唯一索引
备注：一般来说，得保证查询至少达到range级别，最好能达到ref。
table：
- 显示这一行数据是关于哪个表的
type：
- 显示查询使用了何种类型
  - system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range(尽量保证) > index > ALL (最全的)
- 从 最好到最差依次是：
  - system>const>eq_ref>ref>range>index>ALL（常用的）
- 一般来说，得保证查询至少达到range级别，最好能达到ref。
system：
- 表只有一行记录（等于系统表），这是const类型的特列，平时不会出现，这个也可以忽略不计
const：
- 表示通过 索引一次 就找到了, const用于比较primary key或者unique索引 。因为只匹配一行数据，所以很快如将主键置于where列表中，MySQL就能将该查询转换为一个常量
eq_ref:
- 唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于 主键或唯一索引扫描
ref:
- 非唯一性索引扫描，返回匹配某个单独值的所有行. 本质上也是一种索引访问，它返回所有匹配某个单独值的行，然而，它可能会找到多个符合条件的行，所以他应该属于查找和扫描的混合体.
range:
- 只检索给定范围的行,使用一个索引来选择行。key 列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询
possible_keys:(理论上用到的索引)
- 显示可能应用在这张表中的索引，一个或多个。
- 查询涉及到的字段上若存在索引，则该索引将被列出， 但不一定被查询实际使用
key:(实际上用到的索引)
- 实际使用的索引。如果为NULL，则没有使用索引
- 查询中若使用了 覆盖索引 ，则该 索引和查询的select字段重叠
- 例子：
  - 理论没用到，实际也没用到
  - 理论没用到，实际用到（ 覆盖索引）
  - 覆盖索引：
    - 查询的列的顺序与建立的索引的顺序一致，所以理论上不需要索引，实际用到了
  - 理论用到，实际也用到
  - 理论上用到两个，实际只用到一个
- key_len:
  - 表示索引中使用的 字节数 ，可通过该列 计算查询中使用的索引的长度 。
  - key_len字段能够帮你检查是否充分的利用上了索引
  - 由下图可知：同样的查询下，key_len越小越好
- ref：
  - 显示索引的哪一列被使用了 ，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值
- rows：
  - rows列显示MySQL认为它执行查询时 必须检查的行数 。（越少越好）
- Extra：
  - 包含不适合在其他列中显示但十分重要的额外信息
    - 1、 Using filesort（尽量优化掉）
      - 说明mysql会对数据使用一个 外部的索引排序 ，而不是按照表内的索引顺序进行读取。
      - MySQL中无法利用索引完成的排序操作称为“ 文件排序”
      - 可以看到下边将filesort优化掉了。
    - 2、 Using temporary：（尽量优化掉）
      - 使了用 临时表 保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by。
    - 3 、 USING index：（最好能用到）
      - 表示相应的select操作中使用了 覆盖索引(Covering Index)，避免访问了表的数据行，效率不错 ！
      - 如果同时出现using where，表明 索引被用来执行索引键值的查找;
      - 如果没有同时出现using where，表明 索引只是用来读取数据而非利用索引执行查找 。
    - 4、 Using where
      - 表明使用了where过滤
    - 5、 using join buffer
      - 使用了连接缓存：
    - 6、 impossible where
      - where子句的值总是false，不能用来获取任何元组
    - 7、 select tables optimized away
      - 在没有GROUPBY子句的情况下，基于索引优化MIN/MAX操作或者
      - 对于MyISAM存储引擎优化COUNT(*)操作，不必等到执行阶段再进行计算，
      - 查询执行计划生成的阶段即完成优化。
- 热身case：
  - 说明各个语句执行顺序？

Coinker

原创文章 63 获赞 48 访问量 8万+

关注私信

6_数据库(六)_MySQL高级

猜你喜欢