Use B-tree / B + tree / B * tree database index and in

  B + Tree B + tree index is an implementation in the database, an index that is the most common and most frequently used database. B + B represents the equilibrium (balance) in the tree, rather than binary (binary), because the B + tree is a balanced binary tree from the earliest evolved. Speaking before the B + tree must first understand binary search tree, balanced binary tree (AVLTree) and balance multiple search tree (B-Tree), B + tree that is optimized gradually evolved from these trees.
Note: first need to explain is: B- B-tree is a tree, there is no so-called B minus tree

basis

The basic concept of binary tree

Here Insert Picture Description
Binary: the binary tree each node is a maximum of two sub-trees tree structure.
Root: a tree top node is called the root node.
Parent node, the child node: If a node connected to a plurality of following nodes, then the node is called a parent node, which node is called a child node below.
Leaf node: node does not have any child node is called a leaf node.
Sibling nodes: nodes having the same parent node is called mutual sibling nodes.
Node degree: the number of nodes have sub-tree. Figure above, it is of 13 to 1, 28 2, 46 degree to 0 degree.
Tree degree: maximum degree all nodes. Binary tree of 2 or less.
Tree depth: starting from the root (a depth of 0) accumulated layer by layer from top to bottom. Figure above, the depth is the depth 13 of depth 2, 28, 30 is three.
Tree height: starting from the leaf nodes (height 0) accumulated from the bottom up layer by layer. Height 54 is 2, the height of the root node 23 is three.
Each node in the tree for the same depth, they are not necessarily the same height, depending on the depth of the leaf node of each node below. The figure, the depth 1 are 13 and 54, the height 13 is the height of 1,54 to 2.

Binary various formulas

1.n binary tree nodes, a total of ((2n)!) / ( N! * (N + 1)!) Types
2.n layer binary tree up to the n-th layer is 2 ^ (n-1) th
3. Binary node formula N = n0 + n1 + n2, than the leaf nodes of degree 0 is a multiple of 2 nodes. . 1 * = N1 + N 2 * N2 +. 1
4. Any binary tree T, if it is the terminal nodes n0, of the number of nodes 2 is n2, the N2 +. 1 = N0
5. The nodes having n complete binary tree of depth (n) + 1 log2
between [m / 2, m] (taking on integer) 6. B- tree, any node other than the root node leaves the number of branches
7 has n junction complete binary tree of depth point [log2n] +1
highly 8. tree: the maximum from the root node to the leaf node number of all sides. Depth of the tree: from the root node to the largest number of all leaf nodes.
Example:
1, known complete binary tree with 10 leaf nodes on the first layer 6, the total number of binary tree nodes at most 107.
Analysis: have meaning of the questions: binary tree up to seven layers  
in the sixth layer of the full case, 26-1 = 32, where there are non-leaf nodes 32-10 = 22, rather than a leaf node has at most two children seventh layer whereby a total of 22 * 2 = 44 nodes. 6 and the front layer nodes as follows: 26-1 = 63 Therefore, the binary tree nodes up to 63 + 44 = 107

2, is known as a tree of 3 with 2 degrees of nodes 1, 3 2 nodes of degree, 4 degree nodes 3, the tree has () leaf nodes

Formula: tree Total number of nodes = +1 bifurcated
branch number here is the degrees of all the nodes and the
tree of nodes p = 2 + 3 + 4 + x (x is a leaf node number)
tree the junction point P = (2 . 1. 3 + 2 +. 4 . 3 + X 0) = 2 + 1'd. 6 + + +. 1 = 12 is 21 is
X = 21 is. 9 +
X = 12 is

Binary tree type

Types of definition Icon
Full Binary Full Binary Tree Except the last one without any child nodes, all nodes on each layer has two child nodes, the last layer is the leaf nodes. Satisfy the following properties:
1) tree depth is h, the maximum number of layers is k, the maximum number of layers with the same depth, K = H;
2) leaf nodes (last layer) of 1-2K;
. 3) of the i-layer the nodes are:-2i. 1;
. 4) the total number of nodes is: 2k-1, and the total number of nodes must be odd.
img
Complete binary tree Complete Binary Tree Assuming that the depth h of the binary tree, except the h layer, other layers (1 ~ h-1) has reached the maximum number of nodes, the h layer all nodes are continuously concentrated in the left, which is entirely binary Tree. Satisfy the following properties:
1) only the last layer of vacancies and vacancy to the right node, i.e. leaf nodes can only occur at the maximum level layers;
2) for any node, if the depth of its right subtree is j , the depth will be left subtree is j or j + 1. I.e., only one point of 1 or 0;
3) except the last one, the number of nodes is the i-th layer: 2i-1;
. 4) with a complete binary tree of n nodes, a depth: log2n + 1 or + 1 is log2N;
5) must be a full binary tree complete binary tree, not necessarily a complete binary tree is a full binary tree.
img
Balanced binary tree Balanced Binary Tree 又被称为AVL树,它是一颗空树或左右两个子树的高度差的绝对值不超过 1,并且左右两个子树都是一棵平衡二叉树。 img
二叉搜索树Binary Search Tree 又称二叉查找树、二叉排序树(Binary Sort Tree)。它是一颗空树或是满足下列性质的二叉树:
1)若左子树不空,则左子树上所有节点的值均小于或等于它的根节点的值;
2)若右子树不空,则右子树上所有节点的值均大于或等于它的根节点的值;
3)左、右子树也分别为二叉排序树。
img
红黑树Red Black Tree 是每个节点都带有颜色属性(颜色为红色或黑色)的自平衡二叉查找树,满足下列性质:
1)节点是红色或黑色;
2)根节点是黑色;
3)所有叶子节点都是黑色;
4)每个红色节点必须有两个黑色的子节点。(从每个叶子到根的所有路径上不能有两个连续的红色节点。)
5)从任一节点到其每个叶子的所有简单路径都包含相同数目的黑色节点。
img

二叉查找树

二叉树具有以下性质:左子树的键值小于根的键值,右子树的键值大于根的键值。
如下图所示就是一棵二叉查找树,
Here Insert Picture Description
对该二叉树的节点进行查找发现深度为1的节点的查找次数为1,深度为2的查找次数为2,深度为n的节点的查找次数为n,因此其平均查找次数为 (1+2+2+3+3+3) / 6 = 2.3次

二叉查找树可以任意地构造,同样是2,3,5,6,7,8这六个数字,也可以按照下图的方式来构造:
Here Insert Picture Description

但是这棵二叉树的查询效率就低了。因此若想二叉树的查询效率尽可能高,需要这棵二叉树是平衡的,从而引出新的定义——平衡二叉树,或称AVL树。

平衡二叉树(AVL Tree)

平衡二叉树(AVL树)在符合二叉查找树的条件下,还满足任何节点的两个子树的高度最大差为1。下面的两张图片,左边是AVL树,它的任何节点的两个子树的高度差<=1;右边的不是AVL树,其根节点的左子树高度为3,而右子树高度为1;
Here Insert Picture Description
如果在AVL树中进行插入或删除节点,可能导致AVL树失去平衡,这种失去平衡的二叉树可以概括为四种姿态:LL(左左)、RR(右右)、LR(左右)、RL(右左)。它们的示意图如下:
Here Insert Picture Description

平衡多路查找树(B-Tree)

因为我们要考虑磁盘IO的影响,它相对于内存来说是很慢的。数据库索引是存储在磁盘上的,当数据量大时,就不能把整个索引全部加载到内存了,只能逐一加载每一个磁盘页(对应索引树的节点)。所以我们要减少IO次数,对于树来说,IO次数就是树的高度,而“矮胖”就是b树的特征之一,它的每个节点最多包含m个孩子,m称为b树的阶,m的大小取决于磁盘页的大小。

B-Tree是为磁盘等外存储设备设计的一种平衡查找树。因此在讲B-Tree之前先了解下磁盘的相关知识。

系统从磁盘读取数据到内存时是以磁盘块(block)为基本单位的,位于同一个磁盘块中的数据会被一次性读取出来,而不是需要什么取什么。

InnoDB存储引擎中有页(Page)的概念,页是其磁盘管理的最小单位。InnoDB存储引擎中默认每个页的大小为16KB,可通过参数innodb_page_size将页的大小设置为4K、8K、16K,在MySQL中可通过如下命令查看页的大小:

mysql> show variables like 'innodb_page_size';1

而系统一个磁盘块的存储空间往往没有这么大,因此InnoDB每次申请磁盘空间时都会是若干地址连续磁盘块来达到页的大小16KB。InnoDB在把磁盘数据读入到磁盘时会以页为基本单位,在查询数据时如果一个页中的每条数据都能有助于定位数据记录的位置,这将会减少磁盘I/O次数,提高查询效率。

B-Tree结构的数据可以让系统高效的找到数据所在的磁盘块。为了描述B-Tree,首先定义一条记录为一个二元组[key, data] ,key为记录的键值,对应表中的主键值,data为一行记录中除主键外的数据。对于不同的记录,key值互不相同。

一棵m阶的B-Tree有如下特性:

  1. 每个节点最多有m个孩子。
  2. 除了根节点和叶子节点外,其它每个节点至少有Ceil(m/2)个孩子。
  3. 若根节点不是叶子节点,则至少有2个孩子
  4. 所有叶子节点都在同一层,且不包含其它关键字信息
  5. 每个非终端节点包含n个关键字信息(P0,P1,…Pn, k1,…kn)
  6. 关键字的个数n满足:ceil(m/2)-1 <= n <= m-1
  7. ki(i=1,…n)为关键字,且关键字升序排序。
  8. Pi(i=1,…n)为指向子树根节点的指针。P(i-1)指向的子树的所有节点关键字均小于ki,但都大于k(i-1)

B-Tree中的每个节点根据实际情况可以包含大量的关键字信息和分支,如下图所示为一个3阶的B-Tree:
Here Insert Picture Description
每个节点占用一个盘块的磁盘空间,一个节点上有两个升序排序的关键字和三个指向子树根节点的指针,指针存储的是子节点所在磁盘块的地址。两个关键词划分成的三个范围域对应三个指针指向的子树的数据的范围域。以根节点为例,关键字为17和35,P1指针指向的子树的数据范围为小于17,P2指针指向的子树的数据范围为17~35,P3指针指向的子树的数据范围为大于35。
模拟查找关键字29的过程:

  1. 根据根节点找到磁盘块1,读入内存。【磁盘I/O操作第1次】
  2. 比较关键字29在区间(17,35),找到磁盘块1的指针P2。
  3. 根据P2指针找到磁盘块3,读入内存。【磁盘I/O操作第2次】
  4. 比较关键字29在区间(26,30),找到磁盘块3的指针P2。
  5. 根据P2指针找到磁盘块8,读入内存。【磁盘I/O操作第3次】
  6. 在磁盘块8中的关键字列表中找到关键字29。

分析上面过程,发现需要3次磁盘I/O操作,和3次内存查找操作(比较是在内存中进行的,相比于磁盘IO的速度,比较的耗时几乎可以忽略。)。由于内存中的关键字是一个有序表结构,可以利用二分法查找提高效率。而3次磁盘I/O操作是影响整个B-Tree查找效率的决定因素。B-Tree相对于AVLTree缩减了节点个数,使每次磁盘I/O取到内存的数据都发挥了作用,从而提高了查询效率。

插入操作

对高度为k的m阶B树,新结点一般是插在叶子层。通过检索可以确定关键码应插入的结点位置。然后分两种情况讨论:
  1、 若该结点中关键码个数小于m-1,则直接插入即可。
  2、 若该结点中关键码个数等于m-1,则将引起结点的分裂。以中间关键码为界将结点一分为二,产生一个新结点,并把中间关键码插入到父结点(k-1层)中
  重复上述工作,最坏情况一直分裂到根结点,建立一个新的根结点,整个B树增加一层。
例如:在下面的B树中插入key:4
Here Insert Picture Description
第一步:检索key插入的节点位置如上图所示,在3,5之间;

第二步:判断节点中的关键码个数:
  节点3,5已经是两元素节点,无法再增加。父亲节点 2, 6 也是两元素节点,也无法再增加。根节点9是单元素节点,可以升级为两元素节点。;

第三步:结点分裂:
  拆分节点3,5与节点2,6,让根节点9升级为两元素节点4,9。节点6独立为根节点的第二个孩子。

最终结果如下图:虽然插入比较麻烦,但是这也能确保B树是一个自平衡的树
Here Insert Picture Description
删除操作同理,需进行调整保证自平衡!!

B+Tree

B+Tree是在B-Tree基础上的一种优化,使其更适合实现外存储索引结构,InnoDB存储引擎就是用B+Tree实现其索引结构。

从上一节中的B-Tree结构图中可以看到每个节点中不仅包含数据的key值,还有data值。而每一个页的存储空间是有限的,如果data数据较大时将会导致每个节点(即一个页)能存储的key的数量很小,当存储的数据量很大时同样会导致B-Tree的深度较大,增大查询时的磁盘I/O次数,进而影响查询效率。在B+Tree中,所有数据记录节点都是按照键值大小顺序存放在同一层的叶子节点上,而非叶子节点上只存储key值信息,这样可以大大加大每个节点存储的key值数量,降低B+Tree的高度。

B+Tree相对于B-Tree有几点不同:

  • 非叶子节点只存储键值信息。
  • 所有叶子节点之间都有一个链指针。
  • 数据记录都存放在叶子节点中。

将上一节中的B-Tree优化,由于B+Tree的非叶子节点只存储键值信息,假设每个磁盘块能存储4个键值及指针信息,则变成B+Tree后其结构如下图所示:
Here Insert Picture Description
Here Insert Picture Description
通常在B+Tree上有两个头指针,一个指向根节点,另一个指向关键字最小的叶子节点,而且所有叶子节点(即数据节点)之间是一种链式环结构。因此可以对B+Tree进行两种查找运算:一种是对于主键的范围查找和分页查找,另一种是从根节点开始,进行随机查找。

可能上面例子中只有22条数据记录,看不出B+Tree的优点,下面做一个推算:

InnoDB存储引擎中页的大小为16KB,一般表的主键类型为INT(占用4个字节)或BIGINT(占用8个字节),指针类型也一般为4或8个字节,也就是说一个页(B+Tree中的一个节点)中大概存储16KB/(8B+8B)=1K个键值(因为是估值,为方便计算,这里的K取值为10^3)。也就是说一个深度为3的B+Tree索引可以维护 10 ^3 * 10^3 * 10^3 = 10亿 条记录。

实际情况中每个节点可能不能填充满,因此在数据库中,B+Tree的高度一般都在2-4层。MySQL的InnoDB存储引擎在设计时是将根节点常驻内存的,也就是说查找某一键值的行记录时最多只需要1-3次磁盘I/O操作。

数据库中的B+Tree索引可以分为聚集索引(clustered index)和辅助索引(secondary index)。上面的B+Tree示例图在数据库中的实现即为聚集索引,聚集索引的B+Tree中的叶子节点存放的是整张表的行记录数据。辅助索引与聚集索引的区别在于辅助索引的叶子节点并不包含行记录的全部数据,而是存储相应行数据的聚集索引键,即主键。当通过辅助索引来查询数据时,InnoDB存储引擎会遍历辅助索引找到主键,然后再通过主键在聚集索引中找到完整的行记录数据。

总结

1、B+树中只有叶子节点会带有指向记录的指针,而B树则所有节点都带有
2、B+树索引可以分为聚集索引和非聚集索引
3、mysql使用B+树,其中Myisam是非聚集索引,innoDB是聚集索引
4、聚簇索引索引的叶节点就是数据节点;而非聚簇索引的叶节点仍然是索引节点,只不过有一个指针指向对应的数据块。

B+树相比于B树的查询优势

  1. b+树的中间节点不保存数据,所以磁盘页能容纳更多节点元素,更“矮胖”;这就意味着同样的大小的磁盘页可以容纳更多节点元素,在相同的数据量下,b+树更加“矮胖”,IO操作更少
  2. b+树查询必须查找到叶子节点,b树只要匹配到即可不用管元素位置,因此b+树查找更稳定(并不慢);
  3. 对于范围查找来说,b+树只需遍历叶子节点链表即可,b树却需要重复地中序遍历。

例如:同样查找范围[3-11],两者的查询过程如下:

B树的查找过程:
Here Insert Picture Description
B+树的查找过程:
Here Insert Picture Description

拓展1:B*树

是B+树的变体,在B+树的非根和非叶子结点再增加指向兄弟的指针;
Here Insert Picture Description
B*树定义了非叶子结点关键字个数至少为(2/3)*M,即块的最低使用率为2/3

(代替B+树的1/2);

B+树的分裂: 当一个结点满时,分配一个新的结点,并将原结点中1/2的数据

复制到新结点,最后在父结点中增加新结点的指针;B+树的分裂只影响原结点和父

结点,而不会影响兄弟结点,所以它不需要指向兄弟的指针;

B*树的分裂: 当一个结点满时,如果它的下一个兄弟结点未满,那么将一部分

数据移到兄弟结点中,再在原结点插入关键字,最后修改父结点中兄弟结点的关键字

(因为兄弟结点的关键字范围改变了);如果兄弟也满了,则在原结点与兄弟结点之

间增加新结点,并各复制1/3的数据到新结点,最后在父结点增加新结点的指针;

所以,B*树分配新结点的概率比B+树要低,空间使用率更高;

拓展2:主存和磁盘读取原理

主存存取原理

目前计算机使用的主存基本都是随机读写存储器(RAM),现代RAM的结构和存取原理比较复杂,这里本文抛却具体差别,抽象出一个十分简单的存取模型来说明RAM的工作原理。

Here Insert Picture Description

从抽象角度看,主存是一系列的存储单元组成的矩阵,每个存储单元存储固定大小的数据。每个存储单元有唯一的地址,现代主存的编址规则比较复杂,这里将其简化成一个二维地址:通过一个行地址和一个列地址可以唯一定位到一个存储单元。上图展示了一个4 x 4的主存模型。

主存的存取过程如下:

当系统需要读取主存时,则将地址信号放到地址总线上传给主存,主存读到地址信号后,解析信号并定位到指定存储单元,然后将此存储单元数据放到数据总线上,供其它部件读取。

写主存的过程类似,系统将要写入单元地址和数据分别放在地址总线和数据总线上,主存读取两个总线的内容,做相应的写操作。

这里可以看出,主存存取的时间仅与存取次数呈线性关系,因为不存在机械操作,两次存取的数据的“距离”不会对时间有任何影响,例如,先取A0再取A1和先取A0再取D3的时间消耗是一样的。

磁盘存取原理

上文说过,索引一般以文件形式存储在磁盘上,索引检索需要磁盘I/O操作。与主存不同,磁盘I/O存在机械运动耗费,因此磁盘I/O的时间消耗是巨大的。

下图是磁盘的整体结构示意图。
Here Insert Picture Description
一个磁盘由大小相同且同轴的圆形盘片组成,磁盘可以转动(各个磁盘必须同步转动)。在磁盘的一侧有磁头支架,磁头支架固定了一组磁头,每个磁头负责存取一个磁盘的内容。磁头不能转动,但是可以沿磁盘半径方向运动(实际是斜切向运动),每个磁头同一时刻也必须是同轴的,即从正上方向下看,所有磁头任何时候都是重叠的(不过目前已经有多磁头独立技术,可不受此限制)。

下图是磁盘结构的示意图。
Here Insert Picture Description
盘片被划分成一系列同心环,圆心是盘片中心,每个同心环叫做一个磁道,所有半径相同的磁道组成一个柱面。磁道被沿半径线划分成一个个小的段,每个段叫做一个扇区,每个扇区是磁盘的最小存储单元。为了简单起见,我们下面假设磁盘只有一个盘片和一个磁头。

当需要从磁盘读取数据时,系统会将数据逻辑地址传给磁盘,磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址,即确定要读的数据在哪个磁道,哪个扇区。为了读取这个扇区的数据,需要将磁头放到这个扇区上方,为了实现这一点,磁头需要移动对准相应磁道,这个过程叫做寻道,所耗费时间叫做寻道时间,然后磁盘旋转将目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间。

局部性原理与磁盘预读

由于存储介质的特性,磁盘本身存取就比主存慢很多,再加上机械运动耗费,磁盘的存取速度往往是主存的几百分分之一,因此为了提高效率,要尽量减少磁盘I/O。为了达到这个目的,磁盘往往不是严格按需读取,而是每次都会预读,即使只需要一个字节,磁盘也会从这个位置开始,顺序向后读取一定长度的数据放入内存。这样做的理论依据是计算机科学中著名的局部性原理:

当一个数据被用到时,其附近的数据也通常会马上被使用。

程序运行期间所需要的数据通常比较集中。

由于磁盘顺序读取的效率很高(不需要寻道时间,只需很少的旋转时间),因此对于具有局部性的程序来说,预读可以提高I/O效率。

预读的长度一般为页(page)的整倍数。页是计算机管理存储器的逻辑块,硬件及操作系统往往将主存和磁盘存储区分割为连续的大小相等的块,每个存储块称为一页(在许多操作系统中,页得大小通常为4k),主存和磁盘以页为单位交换数据。当程序要读取的数据不在主存中时,会触发一个缺页异常,此时系统会向磁盘发出读盘信号,磁盘会找到数据的起始位置并向后连续读取一页或几页载入内存中,然后异常返回,程序继续运行。

Reference article:
https://blog.csdn.net/itguangit/article/details/82153891
https://blog.csdn.net/login_sonata/article/details/75268075
https://blog.csdn.net/u013411246/article / the Details / 81,088,914
https://blog.csdn.net/z_ryan/article/details/79685072
https://blog.csdn.net/qq_38977097/article/details/88198708
https://www.cnblogs.com/twoheads/ p / 9711934.html

Published 107 original articles · won praise 14 · views 40000 +

Guess you like

Origin blog.csdn.net/belongtocode/article/details/103381488