MySQL系列(二) InnoDB的应用技术概述

  • 5 缓冲池 概述

    • 缓冲池是一块内存区域,用来弥补磁盘速度读写速度过慢的影响
    • 首先将磁盘读的数据放到缓冲池中,然后进行页的判定,减少IO
    • 缓冲池页类型:索引页,数据页,undo页,插入缓冲,自适应哈希索引,锁信息等
    • 缓冲池容量满从额外缓冲池中申请
  • 6 管理缓冲池的 LRU 算法

    LRU 算法

    • 最频繁使用的页在LRU 列表的最前端,最少使用的在最后端,最后端的优先释放

    优化 LRU 算法

    • 最新访问的页放到 midpoint 中节点位置,在列表长度的5/8处
    • 中节点 之前的成为 new列表,之后的成为 old 列表。

    为什么采用优化 LRU 算法

    • 因为如果直接将读取到的页放到 LRU 列表首部,那么某些索引或数据的扫描操作可能将 LRU 列表的页大量甚至全部刷新,但是扫描的这些数据仅本次使用,并不是活跃的热点数据,所以就会导致真正的热点数据被刷新出。
    • 因此优化LRU 算法提供了一个参数,用于表示页读取到 中节点位置后,需要等待多久才会被加入到 LRU 列表的热端。
  • 7 checkpoint 技术(强制刷新脏页)

    • 应用背景

      如果每一次一个页发生变化,就立即刷新到磁盘,那么开销是非常大的。如果在从缓冲池将页的新版本刷新到磁盘时发生了宕机,那么数据就不能恢复了。

      当前事务数据库普遍采用write ahead log 策略,当事务提交时,先写重做日志,再修改页。这也是事务中持久性的要求。

    • 主要解决以下问题

      缩短数据库的恢复时间;

      缓冲池不够用时,将脏页刷新到磁盘;

      重做日志不可用时,刷新脏页。

    当数据库发生宕机时,不需要重做所有日志,因为checkpoint 之前的页都刷新到磁盘了。这样就缩短了恢复的时间。此外,当缓冲池不够用时,根据LRU 算法回溢出最少使用的页,然后对其强制执行checkpoint,刷新到磁盘。

    checkpoint 的时间,条件,脏页的选择都是非常复杂的。比如每次刷新多少页,从哪里取脏页,什么时间触发checkpoint。InnoDB 提供了两种checkpoint选择:

    • sharp checkpoint 敏捷的
    • fuzzy checkpoint 模糊的

    sharp 发生在数据库关闭时,默认将所有脏页都刷新到磁盘。

    fuzzy 发生在运行时,只刷新一部分脏页。刷新是异步的。

  • 8 插入缓冲

    在InnoDB中,主键是唯一的行标识。因此,插入聚集索引一般都是顺序的,不需要磁盘的随机读取。不过非聚集索引其插入和索引都是随机的。

    当然,B+树的特性决定了非聚集索引的插入的离散性。因为数据页所在的叶子节点是按照逻辑顺序离散存放的。

    InnoDB存储引擎开创性地设计了Insert Buffer(插入缓冲),对于非聚集索引的插入或更新操作,不是每一次直接插入到索引页中,而是先判断插入的非聚集索引页是否在缓冲池中,若在,则插入到缓冲池中的非聚集索引页;若不在,则先放入到一个Insert Buffer对象中,好似欺骗。

    数据库这个非聚集的索引没有直接插到叶子节点,只是存放在另一个位置。然后再以一定的频率和情况进行插入 Insert Buffer 和辅助索引页子节点的merge(合并)操作,通常能将多个插入合并到一个操作中(因为在一个索引页中),这就大大提高了对于非聚集索引插入的性能。

    然而Insert Buffer的使用需要同时满足以下两个条件:

    • 索引是辅助索引(secondary index)
    • 索引不是唯一(unique)的

    当满足以上两个条件时,InnoDB存储引擎会使用 Insert Buffer,这样就能提高插入操作的性能了。不过考虑这种情况:

    • 应用程序进行大量的插入操作,这些都涉及了不唯一的非聚集索引,也就是使用了Insert Buffer。若此时MySQL数据库发生了宕机,这时势必有大量的Insert Buffer并没有合并到实际的非聚集索引中去。因此这时恢复可能需要很长的时间,在极端情况下甚至需要几个小时。
    • 辅助索引不能是唯一的,因为在插入缓冲时,数据库并不去查找索引页来判断插入的记录的唯一性。如果去查找肯定又会有离散读取的情况发生,从而导致Insert buffer 失去了意义。
  • 9 两次写

    • 作用
      • 插入缓冲带来性能上的提升。
      • 两次写 double write 带来的是数据页数据的可靠性。
    • 描述
      • 针对部分写失效:在写的过程中发生了宕机。
      • 通过日志来恢复的话,重做日志记录的是对页的物理操作,如果那个页本身发生了损坏,那么恢复就是没有意义的。因此需要一个副本,当写入失效时,先通过页的副本还原该页,这就是double write。
    • 实现
      • double write 由两部分组成
        • 一部分是内存中的 double writer buffer,大小为2M。
        • 另一部分为物理磁盘上共享表空间中连续的128 个页,即2个区, 大小同样为2M。
      • 对缓冲池中的脏页进行刷新时,并不直接写入磁盘,而是通过 double write buffer 分两次每次1M顺序的写入共享表空间的物理磁盘上,然后再同步磁盘,避免缓冲区的问题。最后再写入各个表空间文件中,此时的写入过程是离散的,因此系统压力不大。

    默认情况下所有页的刷新首先放入到 double write中。

猜你喜欢

转载自www.cnblogs.com/wang-kai-1994/p/10810372.html