MySql之索引底层深入解析

1.索引概念

在这里插入图片描述

1.数据库索引,是数据库的一个排序的数据结构,以协助快速查询、 更新数据库表中数据。

在这里插入图片描述
在这里插入图片描述

1.首先数据是以文件的形式存放在磁盘上面的,每一行数据都有它的磁盘地址。如果没有索引的话,
  要从 500 万行数据里面检索一条数据,只能依次遍历这张表的全部数据, 直到找到这条数据。 
2.但是有了索引之后,只需要在索引里面去检索这条数据就行了,因为它是一种特殊的专门用来快速检索的数据结构,
  我们找到数据存放的磁盘地址以后,就可以拿到数据 了。就像我们从一本 500 页的书里面去找特定的一小节的内容,
  肯定不可能从第一页开 始翻。那么这本书有专门的目录,它可能只有几页的内容,它是按页码来组织的,
  可以根据拼音或者偏旁部首来查找,只要确定内容对应的页码,就能很快地找到我们想要的内容。

2.索引类型与创建

在这里插入图片描述

2.1.普通索引(Normal)又称 非唯一索引(None-Unique)

1.普通索引,就是最常规的索引,对于某一列的值来讲,可以重复,对于数据值没有限制,又称非唯一索引
2.例如我们在user表中对name字段进行创建索引idx_user_name(Nonoe-Unique索引),也就是说name这一列的值是可以重复的
  因为对于用户来讲,名字是可能重复的;

在这里插入图片描述

2.2.唯一索引(Unique)

1.唯一索引实际上跟普通索引是相对应的,意味着这一列的值是不能重复的;
2.例如user表中的身份证号字段idno是不能重复的,因此我们创建唯一索引;

在这里插入图片描述

2.3.全文索引(Fulltext)

针对比较大的数据,比如我们存放的是消息内容,有几 KB 的数 据的这种情况,如果要解决 like 查询效率低的问题,可以创建全文索引。
只有文本类型 的字段才可以创建全文索引,比如 char、varchar、text。

在这里插入图片描述

select * from gpmysql.user u where match(u.remark) against('胡天钰' IN NATURAL LANGUAGE MODE);

在这里插入图片描述

3.索引数据结构存储模型推演

3.1.二分查找

1.比如我买了一部手机3000块钱,现在找一个人来猜一下,看看几次能猜对?
2.1000低了,猜10000,高了猜5000还高,猜2000低了,猜2500,如此循环N次

在这里插入图片描述

1.二分查找也叫折半查找,这种方式对于应排好序的数据是比较好的一种方式,如同我们的书本一样
  考虑用有序数组作为索引的数据结构,可以考虑这种方式;
2.有序数组的等值查询和比较查询效率非常高,但是更新数据的时候会出现一个问题, 可能要挪动大量的数据(改变 index)
  所以只适合存储静态的数据  
3.为了支持频繁的修改,比如插入数据,我们需要采用链表。链表的话,如果是单链 表,它的查找效率还是不够高。 
  所以,有没有可以使用二分查找的链表呢? 
  为了解决这个问题,BST(Binary Search Tree)也就是我们所说的二叉查找树诞生了。

3.2.二叉查找树(BST Binary Search Tree)

1.二叉查找树的特点:
  左子树所有的节点都小于父节点,右子树所有的节点都大于父节点。投影到平面以后,就是一个有序的线性表。
  关于二叉树的一些知识大家可以去了解一下数据结构这块;

在线模拟 二叉查找树

https://www.cs.usfca.edu/~galles/visualization/BST.html

1.我们现在以此插入下面的数字:19121715131462232127

在这里插入图片描述

1.二叉查找树既能够实现快速查找,又能够实现快速插入。 但是二叉查找树有一个问题: 就是它的查找耗时是和这棵树的深度相关的,
  在最坏的情况下时间复杂度会退化成 O(n)2.比如我们插入1-7,这时候会出现下面的情况  
3.因为左右子树深度差太大,这棵树的左子树根本没有节点——也就是它不够平衡。 所以,我们有没有左右子树深度相差不是那么大,
  更加平衡的树呢? 这个就是平衡二叉树,叫做 Balanced binary search trees,或者 AVL 树(AVL 是 发明这个数据结构的人的名字)。

在这里插入图片描述

3.3. 平衡二叉树(AVL Tree)(左旋、右旋)

https://www.cs.usfca.edu/~galles/visualization/AVLtree.html

3.3.1 概念

1.AVL Trees (Balanced binary search trees) 平衡二叉树的定义:左右子树深度差绝对值不能超过1
 (比如左子树的深度是 2,右子树的深度只能是 1 或者 3)

插入1,2,3,4,5,6,7,8
在这里插入图片描述

案例说明

1.我们在https://www.cs.usfca.edu/~galles/visualization/AVLtree.html这里进行模拟
2.我们插入123三个数字,然后看一下这个过程中平衡二叉树的变化

插入1
在这里插入图片描述
插入2,由于2比1大,根据二叉树的定义,右边节点都比左边的节点大,结果如下
在这里插入图片描述
插入3,根据二叉树的定义,3比2大,所以肯定在2的右边

1.这个时候根节点 1 的右节点深度会变成 2,但是左节点的深度是 0,因为它没有子节点,所以就会违反平衡二叉树的定义。 
2.那应该怎么办呢?因为它是右节点下面接一个右节点,右-右型,所以这个时候我们 要把2提上去,这个操作叫做左旋。
3.所以为了保持平衡,AVL 树在插入和更新数据的时候执行了一系列的计算和调整的 操作。

在这里插入图片描述

3.3.2.概念延伸-MySql

在平衡二叉树中,一个节点,它的大小是一个固定的单位,作为索引应该存储什么 内容?

它应该存储三块的内容: 
1.第一个是索引的键值。比如我们在 id 上面创建了一个索引,我在用 where id =1 的条件查询的时候就会找到索引里面的id的这个键值。 
2.第二个是数据的磁盘地址,因为索引的作用就是去查找数据的存放的地址。 
3.第三个,因为是二叉树,它必须还要有左子节点和右子节点的引用,这样我们才能找到下一个节点。

在这里插入图片描述

3.3.3.AVL 树用于存储索引数据

1.当我们用树的结构来存储索引的时候,访问一个节点就要跟磁盘之间发生一次 IO。 
2.InnoDB 操作磁盘的最小的单位是一页(或者叫一个磁盘块),大小是 16K(16384 字节)。 那么,一个树的节点就是 16K 的大小。 
  如果我们一个节点只存一个键值+数据+引用,例如整形的字段,可能只用了十几个 或者几十个字节,它远远达不到 16K 的容量,
  所以访问一个树节点,进行一次 IO 的时候,浪费了大量的空间。 所以如果每个节点存储的数据太少,从索引中找到我们需要的数据,
  就要访问更多的节点,意味着跟磁盘交互次数就会过多;
3.如果是机械硬盘时代,每次从磁盘读取数据需要 10ms 左右的寻址时间,交互次数越多,消耗的时间就越多。
4.实际上说的通俗点,我们如何把平衡二叉树的深度给压缩一下,减少一下磁盘交互的次数是比较关键的; 

3.4.多路平衡查找树(B Tree)(分裂、合并)

3.4.1.演示地址

https://www.cs.usfca.edu/~galles/visualization/BTree.html
在这里插入图片描述

3.4.2.概述

1.B树拥有平衡二叉树的所有特点,即:B树在枝节点和叶子节点存储键值、数据地址、节点引用;
2.另外B树有一个特殊的点:分叉数(路数)永远比关键字数多 1。
  比如我们画的这棵树,每个节点存储两个关键字,那么就会有三个指针指向三个子节;

在这里插入图片描述

比如我们要在这张表里面查找 15。 
因为 15 小于 17,走左边。 
因为 15 大于 12,走右边。
在磁盘块 7 里面就找到了 15,只用了 3 次 IO。

3.4.3.B Tree 又是怎么实现一个节点存储多个关键字,还保持平衡的呢?跟 AVL 树有什么区别?

比如 Max Degree(路数)是 3 的时候,我们插入数据 123,在插入3的时候,本来应该在第一个磁盘块,
但是如果一个节点有2个关键字的时候,意味着有3个指针,子节点会变成3路,所以这个时候必须进行分裂。
把中间的数据2提上去,把13变成2的子节点。

在这里插入图片描述
在这里插入图片描述

我们继续进行插入4,5,6,7,大家可以看到 其索引的逻辑存储结构是不断地变化的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
同样的,如果我们删除某一个节点,其存储结构又会发生很大的变化

1.从这个里面我们也能看到,在更新索引的时候会有大量的索引的结构的调整,
  所以解释了为什么我们不要在频繁更新的列上建索引,或者为什么不要更新主键。 
2.节点的分裂和合并,其实就是InnoDB页的分裂和合并(因为不同的节点的存储的数据大小不一样,会导致在不同的页上)

关于InnoDB的逻辑存储结构,大家可以参考下面的连接
https://blog.csdn.net/u014636209/article/details/104090886

3.5.B+树(加强版多路平衡查找树)

3.5.1.演示地址

https://www.cs.usfca.edu/~galles/visualization/Algorithms.html
https://www.cs.usfca.edu/~galles/visualization/BPlusTree.html
在这里插入图片描述

3.5.2.概述

1.实际上B+树是MySql InnoDB存储引擎对B Tree的一个优化;
2.它的关键字的数量是跟路数相等的; 
3.B+Tree 的根节点和枝节点中都不会存储数据,只有叶子节点才存储数据。搜索到关键字不会直接返回,会到最后一层的叶子节点。
  比如我们搜索 id=28,虽然在第一层直接命中了,但是全部的数据在叶子节点上面,所以我还要继续往下搜索,一直到叶子节点。
4.B+Tree 的每个叶子节点增加了一个指向相邻叶子节点的指针,它的最后一个数据会指向下一个叶子节点的第一个数据,形成了一个有序链表的结构。 
5.它是根据左闭右开的区间[)来检索数据。  

在这里插入图片描述

**举个例子:假设一条记录是 1K,一个叶子节点(一页)可以存储 16 条记录。非叶子节点可以存储多少个指针? **

假设索引字段是bigint 类型,长度为8字节。指针大小在InnoDB源码中设置为6字节,这样一共14字节。
非叶子节点(一页)可以存储 16384/14=1170个这样的单元(键值+指针),代表有1170个指针。 
树深度为2的时候,有 1170^2个叶子节点 ,可以存储的数据为 1170*1170*16=21902400。

在查找数据时一次页的查找代表一次IO,也就是说,一张2000万左右的表,查询数据最多需要访问3次磁盘。 
所以在 InnoDB 中 B+ 树深度一般为 1-3 层,它就能满足千万级的数据存储。

在这里插入图片描述
我们来看一下 B+Tree 的数据搜寻过程:

 1)比如我们要查找 28,在根节点就找到了键值,但是因为它不是页子节点,所以 会继续往下搜寻,28[28,66)的左闭右开的区间的临界值,
   所以会走中间的子节点,然 后继续搜索,它又是[28,34)的左闭右开的区间的临界值,所以会走左边的子节点,最后 在叶子节点上找到了需要的数据。 
 2)第二个,如果是范围查询,比如要查询从 2260 的数据,当找到 22 之后,只 需要顺着节点和指针顺序遍历就可以一次性访问到所有的数据节点,
   这样就极大地提高了区间查询效率(不需要返回上层父节点重复遍历查找)。

3.5.3.总结一下,InnoDB 中的 B+Tree 的特点

1)它是 B Tree 的变种,B Tree 能解决的问题,它都能解决。B Tree 解决的两大问题 是什么?(每个节点存储更多关键字;路数更多) 
2)扫库、扫表能力更强(如果我们要对表进行全表扫描,只需要遍历叶子节点就可以 了,不需要遍历整棵 B+Tree 拿到所有的数据) 
3) B+Tree 的磁盘读写能力相对于 B Tree 来说更强(根节点和枝节点不保存数据区, 所以一个节点可以保存更多的关键字,一次磁盘加载的关键字更多) 
4)排序能力更强(因为叶子节点上有下一个数据区的指针,数据形成了链表) 
5)效率更加稳定(B+Tree 永远是在叶子节点拿到数据,所以 IO 次数是稳定的)
发布了262 篇原创文章 · 获赞 37 · 访问量 20万+

猜你喜欢

转载自blog.csdn.net/u014636209/article/details/104061838