MySQL中的redo log、undo log、bin log

最近在复习MySQL高级部分的知识——宋红康老师MySQL教程

1. redo日志

InnoDB存储引擎是以页为单位来管理存储空间的。在真正访问页面之前,需要把在磁盘上的页缓存到内存中的Buffer Pool之后才可以访问。所有的变更都必须先更新缓冲池中的数据,然后缓冲池中的脏页会以一定的频率被刷入磁盘 (checkPoint机制),通过缓冲池来优化CPU和磁盘之间的鸿沟,这样就可以保证整体的性能不会下降太快。

1.1 为什么需要REDO日志

一方面,缓冲池可以帮助我们消除CPU和磁盘之间的鸿沟,checkpoint机制可以保证数据的最终落盘,然而由于checkpoint 并不是每次变更的时候就触发的,而是master线程隔一段时间去处理的。所以最坏的情况就是事务提交后,刚写完缓冲池,数据库宕机了,那么这段数据就是丢失的,无法恢复。

另一方面,事务包含 持久性 的特性,就是说对于一个已经提交的事务,在事务提交后即使系统发生了崩溃,这个事务对数据库中所做的更改也不能丢失。

那么如何保证这个持久性呢? 一个简单的做法 :在事务提交完成之前把该事务所修改的所有页面都刷新到磁盘,但是这个简单粗暴的做法有些问题:

  • 修改量与刷新磁盘工作量严重不成比例——考虑基本单位是大小为16字节的数据页

    有时候我们仅仅修改了某个页面中的一个字节,但是我们知道在InnoDB中是以页为单位来进行磁盘IO的,也就是说我们在该事务提交时不得不将一个完整的页面从内存中刷新到磁盘,我们又知道一个默认页面时16KB大小,只修改一个字节就要刷新16KB的数据到磁盘上显然是小题大做了。

  • 随机IO刷新较慢——事务中修改语句可能包含很多页面,随机IO消耗时间过长

    一个事务可能包含很多语句,即使是一条语句也可能修改许多页面,假如该事务修改的这些页面可能并不相邻,这就意味着在将某个事务修改的Buffer Pool中的页面刷新到磁盘时,需要进行很多的随机IO,随机IO比顺序IO要慢,尤其对于传统的机械硬盘来说。

另一个解决的思路重启后把损失的修改恢复出来,只需要把修改了哪些东西 记录一下 就好。比如,某个事务将系统 表空间中 第10号 页面中偏移量为 100 处的那个字节的值 1 改成 2 。我们只需要记录一下:将第0号表 空间的10号页面的偏移量为100处的值更新为 2

InnoDB引擎的事务采用了WAL技术 (Write-Ahead Logging),这种技术的思想就是先写日志,再写磁盘,只有日志写入成功,才算事务提交成功,这里的日志就是redo log。当发生宕机且数据未刷到磁盘的时候,可以通过redo log来恢复,保证ACID中的D,这就是redo log的作用。

在这里插入图片描述

1.2 REDO日志的好处、特点

1. 好处
  • redo日志降低了刷盘频率

  • redo日志占用的空间非常小

    存储表空间ID、页号、偏移量以及需要更新的值,所需的存储空间是很小的,刷盘快。

2. 特点
  • redo日志是顺序写入磁盘的

    在执行事务的过程中,每执行一条语句,就可能产生若干条redo日志,这些日志是按照产生的顺序写入磁盘的,也就是使用顺序ID,效率比随机IO快。

  • 事务执行过程中,redo log不断记录

    redo log跟bin log的区别,redo log是存储引擎层产生的,而bin log是数据库层产生的。假设一个事务,对表做10万行的记录插入,在这个过程中,一直不断的往redo log顺序记录,而bin log不会记录,直到这个事务提交,才会一次写入到bin log文件中。

1.3 redo的组成

Redo log可以简单分为以下两个部分:

  • 重做日志的缓冲 (redo log buffer) ,保存在内存中,是易失的。

    在服务器启动时就会向操作系统申请了一大片称之为 redo log buffer 的 连续内存 空间,翻译成中文就是redo日志缓冲区。这片内存空间被划分为若干个连续的redo log block。一个redo log block占用512字节大小(扇区大小就为512个字节)。

在这里插入图片描述

参数设置:innodb_log_buffer_size:

redo log buffer 大小,默认 16M ,最大值是4096M,最小值为1M。

mysql> show variables like '%innodb_log_buffer_size%';
+------------------------+----------+
| Variable_name          | Value    |
+------------------------+----------+
| innodb_log_buffer_size | 16777216 |
+------------------------+----------+
  • 重做日志文件 (redo log file) ,保存在硬盘中,是持久的。

    REDO日志文件保存在数据文件目录下,其中ib_logfile0ib_logfile1即为REDO日志。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZYYKXwI-1660305915942)(D:\note\笔记仓库\图片\image-20220810182249103.png)]

1.4 redo的整体流程

以一个更新事务为例,redo log 流转过程,如下图所示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3ihUXmla-1660305915944)(D:\note\笔记仓库\图片\image-20220810182941810.png)]

  • 第一步:将原始数据从磁盘中读入内存,修改数据的内存拷贝
  • 第二步:生成一条重做日志并写入redo log buffer,记录的是数据修改后的值
  • 第三步:当事务commit时,将redo log buffer中的内容刷新到 redo log file,对 redo log file采用追加写的方式
  • 第四步:定期将内存中修改的数据刷新到磁盘中。

体会: Write-Ahead Log(预先日志持久化):在持久化一个数据页之前,先将内存中相应的日志页持久化。

1.5 redo log的刷盘策略

redo log的写入并不是直接写入磁盘的,InnoDB引擎会在写redo log的时候先写redo log buffer,之后以一定的频率刷入到真正的redo log file 中。这里的一定频率怎么看待呢?这就是我们要说的刷盘策略。

注意:redo log buffer刷盘到redo log file的过程并不是真正的刷到磁盘中去,只是刷入到==文件系统缓存 (page cache)==中去(这是现代操作系统为了提高文件写入效率做的一个优化),真正的写入会交给系统自己来决定(比如page cache足够大了)。那么对于InnoDB来说就存在一个问题,如果交给系统来同步,同样如果系统宕机,那么数据也丢失了(虽然整个系统宕机的概率还是比较小的)。

针对这种情况,InnoDB给出 innodb_flush_log_at_trx_commit 参数,该参数控制 commit提 交事务时,如何将 redo log buffer 中的日志刷新到 redo log file 中。它支持三种策略:

  • 设置为0 :表示每次事务提交时不进行刷盘操作。(系统默认master thread每隔1s进行一次重做日志的同步)
  • 设置为1 :表示每次事务提交时都将进行同步,刷盘操作( 默认值 )
  • 设置为2 :表示每次事务提交时都只把 redo log buffer 内容写入 page cache,不进行同步。由os自己决定什么时候同步到磁盘文件
mysql> show variables like 'innodb_flush_log_at_trx_commit';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_trx_commit | 1     |
+--------------------------------+-------+
1 row in set (0.00 sec)

另外,InnoDB存储引擎有一个后台线程,每隔1秒,就会把redo log buffer中的内容写到文件系统缓存(page cache),然后调用刷盘操作。

在这里插入图片描述

  • 后台线程刷盘:也就是说,一个没有提交事务的redo log记录,也可能会刷盘。因为在事务执行过程 redo log 记录是会写入 redo log buffer中,这些redo log 记录会被后台线程刷盘。
  • 超过阈值刷盘:除了后台线程每秒1次的轮询操作,还有一种情况,当redo log buffer占用的空间即将达到innodb_log_buffer_size(这个参数默认是16M)的一半的时候,后台线程会主动刷盘。
1 不同策略流程图分析
innodb_flush_log_at_trx_commit=1

在这里插入图片描述

小结: innodb_ flush_ log_ at_ trx_ commit=1

为1时,只要事务提交成功,redo log 记录就一定在硬盘里,不会有任何数据丢失。

如果事务执行期间MySQL挂了或宕机,这部分日志丢了,但是事务并没有提交,所以日志丢了也不会有损失。可以保证ACID的D,数据绝对不会丢失,但是效率最差的。

建议使用默认值,虽然操作系统宕机的概率理论小于数据库宕机的概率,但是一般既然使用了事务, 那么数据的安全相对来说更重要些。

innodb_flush_log_at_trx_commit=2

在这里插入图片描述

小结innodb_ flush_ log_at_trx_ commit=2

为2时,只要事务提交成功,redo log buffer 中的内容只写入文件系统缓存( page cache )

如果仅仅只是MySQL挂了不会有任何数据丢失,但是操作系统宕机可能会有1秒数据的丢失,这种情况下无法满足ACID中的D。但是数值2肯定是效率最高的。

innodb_flush_log_at_trx_commit=0

在这里插入图片描述

小结innodb_ flush_ log_at_trx_ commit=0

为0时,master thread中每1秒进行一-次重做日志的fsync(把文件在内存中的部分写回磁盘)操作, 因此实例crash最多丢失1秒钟内的事务。(master thread是负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性)

数值0的话,是一种折中的做法,它的效率理论是高于1的,低于2的,这种策略也有丢失数据的风险,也无法保证D。

1.6 写入 redo log buffer 过程

1. 补充概念:Mini-Transaction

MySQL把对底层页面中的一次原子访问过程称之为一个Mini-Transaction,简称mtr,比如,向某个索引对应的B+树中插入一条记录的过程就是一个Mini-Transaction一个所谓的mtr可以包含一组redo日志,在进行崩溃恢复时这一组redo日志可以作为一个不可分割的整体。

一个事务可以包含若干条语句,每一条语句其实是由若干个 mtr 组成,每一个 mtr 又可以包含若干条 redo日志,画个图表示它们的关系就是这样:

2.redo 日志 写入log buffer

向log buffer 中写入redo日志的过程是顺序的,也就是先往前边的block中写,当该block的空闲空间用完之后再往下一个block中写。当我们想往log buffer 中写入redo日志时,第一个遇到的问题就是应该写在哪个block的哪个偏移量处,所以InnoDB的设计者特意提供了一个称之为buf_ free 的全局变量,该变量指明后续写入的redo日志应该写入到log buffer中的哪个位置如图所示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m0Zfrsoc-1660305915953)(D:\note\笔记仓库\图片\image-20220810185504417.png)]

一个mtr执行过程中可能产生若干条redo日志,这些redo 日志是一一个不可分割的组,所以其实并不是每生成一条redo日志,就将其插入到log buffer中,而是每个mtr运行过程中产生的日志先暂时存到一个地方,当该mtr结束的时候,将过程中产生的一-组redo日志再全部复制到log buffer中。我们现在假设有两个名为T1、T2 的事务,每个事务都包含2个mtr,我们给这几个mtr命名-下:

  • 事务T1的两个mtr分别称为mtr_T1_1和mtr_T1_2。
  • 事务T2的两个mtr分别称为mtr_T2_1和mtr_T2_2。

每个mtr都会产生一组redo日志, 用示意图来描述一下这些mtr产生的日志情况:

在这里插入图片描述

不同的事务可能是 并发 执行的,所以 T1 、 T2 之间的 mtr 可能是 交替执行 的。没当一个mtr执行完成时,伴随该mtr生成的一组redo日志就需要被复制到log buffer中,也就是说不同事务的mtr可能是交替写入log buffer的,我们画个示意图(为了美观,我们把一个mtr中产生的所有redo日志当做一个整体来画):

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dyiSSQEc-1660305915955)(D:\note\笔记仓库\图片\image-20220810190422818.png)]

有的mtr产生的redo日志量非常大,比如mtr_t1_2产生的redo日志占用空间比较大,占用了3个block来存储。

3. redo log block的结构图

一个redo log block是由日志头、日志体、日志尾组成。日志头占用12字节,日志尾占用8字节,所以一个block真正能存储的数据是512-12-8=492字节。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3NBcBABz-1660305915957)(D:\note\笔记仓库\图片\image-20220810190615735.png)]

为什么一一个block设计成512字节?
这个和磁盘的扇区有关,机械磁盘默认的扇区就是512字节,如果你要写入的数据大于512字节,那么要写入的扇区肯定不止一个,这时就要涉及到盘片的转动,找到下一一个扇区,假设现在需要写入两个扇区A和B,如果扇区A写入成功,而扇区B写入失败,那么就会出现非原子性的写入,而如果每次只写入和扇区的大小一样的512字节,那么每次的写入都是原子性的。

真正的redo日志都是存储到占用496字节大小的log block body中,图中的log block headerlog block trailer存储的是一些管理信息。

1.7 redo log file

1. 相关参数设置
  • innodb_log_group_home_dir :指定 redo log 文件组所在的路径,默认值为 ./ ,表示在数据库 的数据目录下。MySQL的默认数据目录( var/lib/mysql)下默认有两个名为 ib_logfile0ib_logfile1 的文件,log buffer中的日志默认情况下就是刷新到这两个磁盘文件中。此redo日志 文件位置还可以修改。

  • innodb_log_files_in_group:指明redo log file的个数,命名方式如:ib_logfile0,iblogfile1… iblogfilen。默认2个,最大100个。

    mysql> show variables like 'innodb_log_files_in_group';
    +---------------------------+-------+
    | Variable_name             | Value |
    +---------------------------+-------+
    | innodb_log_files_in_group | 2     |
    +---------------------------+-------+
    #ib_logfile0
    #ib_logfile1
    
  • innodb_flush_log_at_trx_commit:控制 redo log 刷新到磁盘的策略,默认为1。

  • innodb_log_file_size:单个 redo log 文件设置大小,默认值为 48M 。最大值为512G,注意最大值 指的是整个 redo log 系列文件之和,即(innodb_log_files_in_group * innodb_log_file_size )不能大 于最大值512G。

    mysql> show variables like 'innodb_log_file_size';
    +----------------------+----------+
    | Variable_name        | Value    |
    +----------------------+----------+
    | innodb_log_file_size | 50331648 |
    +----------------------+----------+
    

根据业务修改其大小,以便容纳较大的事务。编辑my.cnf文件并重启数据库生效,如下所示

[root@localhost ~]# vim /etc/my.cnf
innodb_log_file_size=200M

在数据库实例更新比较频繁的情况下,可以适当加大 redo log 数组和大小。但也不推荐 redo log 设置过大,在MySQL崩溃时会重新执行REDO日志中的记录。

2. 日志文件组

磁盘上的redo日志不只一个,而是以一个日志文件组的形式出现,这些文件以==ib_logfile[数字]==的形式命名,每个文件大小相同

总共的redo日志文件大小其实就是: innodb_log_file_size × innodb_log_files_in_group

采用循环使用的方式向redo日志文件组里写数据的话,会导致后写入的redo日志覆盖掉前边写的redo日志?当然!所以InnoDB的设计者提出了checkpoint的概念。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HHMEnjWJ-1660305915958)(D:\note\笔记仓库\图片\image-20220810191016385.png)]

3. checkpoint

在整个日志文件组中还有两个重要的属性,分别是 write pos、checkpoint

  • write pos是当前记录的位置,一边写一边后移
  • checkpoint是当前要擦除的位置,也是往后推移

每次刷盘 redo log 记录到日志文件组中,write pos 位置就会后移更新。每次MySQL加载日志文件组恢复数据时,会清空加载过的 redo log 记录,并把check point后移更新。write pos 和 checkpoint 之间的还空着的部分可以用来写入新的 redo log 记录。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WX5iU7XA-1660305915959)(D:\note\笔记仓库\图片\image-20220810191039635.png)]

如果write pos追上checkpoint,表示日志文件组满了,这时候不能再写入新的redo log记录,MySQL 得停下来,清空一些记录,把checkpoint推进一下。

1.9 redo log 小结

InnoDB的更新操作采用的是Write Ahead Log (预先日志持久化)策略,即先写日志,再写入磁盘。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6s35TA7M-1660305915960)(D:\note\笔记仓库\图片\image-20220810191230673.png)]

2.undo日志

2.1 如何理解Undo日志

事务需要保证 原子性 ,也就是事务中的操作要么全部完成,要么什么也不做。但有时候事务执行到一半会出现一些情况,比如:

  • 情况一:事务执行过程中可能遇到各种错误,比如 服务器本身的错误操作系统错误 ,甚至是突然 断电 导致的错误。
  • 情况二:程序员可以在事务执行过程中手动输入 ROLLBACK 语句结束当前事务的执行。

以上情况出现,我们需要把数据改回原先的样子,这个过程称之为 回滚 ,这样就可以造成一个假象:这 个事务看起来什么都没做,所以符合 原子性 要求。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kLhdO2XH-1660305915961)(D:\note\笔记仓库\图片\image-20220711153523704.png)]

2.2 Undo日志的作用

  • 作用1:回滚数据

在这里插入图片描述

  • 作用2:MVCC

undo的另一个作用是MVCC,即在InnoDB存储引擎中MVCC的实现是通过undo来完成。当用户读取一行记录时,若该记录以及被其他事务占用,当前事务可以通过undo读取之前的行版本信息,以此实现非锁定读取。

2.3 undo的存储结构

1. 回滚段与undo页

InnoDB对undo log的管理采用段的方式,也就是 回滚段(rollback segment) 。每个回滚段记录了 1024undo log segment ,而在每个undo log segment段中进行 undo页 的申请。

  • InnoDB1.1版本之前 (不包括1.1版本),只有一个rollback segment,因此支持同时在线的事务限制为 1024 。虽然对绝大多数的应用来说都已经够用。
  • 从1.1版本开始InnoDB支持最大 128个rollback segment ,故其支持同时在线的事务限制提高到 了 128*1024
mysql> show variables like 'innodb_undo_logs';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| innodb_undo_logs | 128   |
+------------------+-------+

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ie6QtrMt-1660305915962)(D:\note\笔记仓库\图片\image-20220711154936382.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T6GHGyzh-1660305915963)(D:\note\笔记仓库\图片\image-20220711155044078.png)]

2. 回滚段与事务
  1. 每个事务只会使用一个回滚段,一个回滚段在同一时刻可能会服务于多个事务。
  2. 当一个事务开始的时候,会制定一个回滚段,在事务进行的过程中,当数据被修改时,原始的数据会被复制到回滚段。
  3. 在回滚段中,事务会不断填充盘区,直到事务结束或所有的空间被用完。如果当前的盘区不够用,事务会在段中请求扩展下一个盘区,如果所有已分配的盘区都被用完,事务会覆盖最初的盘区或者在回滚段允许的情况下扩展新的盘区来使用。
  4. 回滚段存在于undo表空间中,在数据库中可以存在多个undo表空间,但同一时刻只能使用一个 undo表空间。
mysql> show variables like 'innodb_undo_tablespaces';
+-------------------------+-------+
| Variable_name           | Value |
+-------------------------+-------+
| innodb_undo_tablespaces | 2     |
+-------------------------+-------+
# undo log的数量,最少为2. undo log的truncate操作有purge协调线程发起。在truncate某个undo log表空间的过程中,保证有一个可用的undo log可用。
  1. 当事务提交时,InnoDB存储引擎会做以下两件事情:
    • 将undo log放入列表中,以供之后的purge操作
    • 判断undo log所在的页是否可以重用,若可以分配给下个事务使用
3. 回滚段中的数据分类
  1. 未提交的回滚数据(uncommitted undo information):该数据所关联的事务并未提交,用于实现读一致性,所以该数据不能被其他事务的数据覆盖。
  2. 已经提交但未过期的回滚数据(committed undo information):该数据关联的事务已经提交,但是仍受到undo retention参数的保持时间的影响。
  3. 事务已经提交并过期的数据(expired undo information):事务已经提交,而且数据保存时间已经超过 undo retention参数指定的时间,属于已经过期的数据。当回滚段满了之后,就优先覆盖“事务已经提交并过期的数据"。

事务提交后不能马上删除undo log及undo log所在的页。这是因为可能还有其他事务需要通过undo log来得到行记录之前的版本。故事务提交时将undo log放入一个链表中,是否可以最终删除undo log以undo log所在页由purge线程来判断。

2.4 undo的类型

在InnoDB存储引擎中,undo log分为:

  • insert undo log

    插入操作,只对事务本身可见,故该undo log在事务提交后可直接删除。不需要进行purge操作。

  • update undo log

    该undo log可能需要提供MVCC机制,因此不能在事务提交时就进行删除。提交时放入undo log链表,等待purge线程进行最后的删除。

2.5 undo log的生命周期

2.5 undo log的生命周期

1. 简要生成过程

以下是undo+redo事务的简化过程

假设有两个数值,分别为A=1和B=2,然后将A修改为3,B修改为4

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9nCO77oG-1660305915965)(D:\note\笔记仓库\图片\image-20220711162414928.png)]

只有Buffer Pool的流程:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T18m7S6o-1660305915966)(D:\note\笔记仓库\图片\image-20220711162505008.png)]

有了Redo Log和Undo Log之后:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uPe8WIej-1660305915966)(D:\note\笔记仓库\图片\image-20220711162642305.png)]

在更新Buffer Pool中的数据之前,我们需要先将该数据事务开始之前的状态写入Undo Log中。假设更新到一半出错了,我们就可以通过Undo Log来回滚到事务开始前。

2. 详细生成过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W591cC2I-1660305915968)(D:\note\笔记仓库\图片\image-20220711162919157.png)]

当我们执行INSERT时:

begin;
INSERT INTO user (name) VALUES ("tom");

插入的数据会生成一条undo log日志,并且回滚指针会指向这个日志。

undo log会记录undo log的序号、插入主键的列和值…,那么在进行rollback的时候,通过主键直接把对应的数据删除即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EYXumR8c-1660305915969)(D:\note\笔记仓库\图片\image-20220711163725129.png)]

当我们执行UPDATE时:

对应更新的操作会产生update undo log,并且会分更新主键和不更新主键的,假设现在执行:

UPDATE user SET name="Sun" WHERE id=1;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XBGXQHpH-1660305915970)(D:\note\笔记仓库\图片\image-20220711164138414.png)]

这时会把老的记录写入新的undo log,让回滚指针指向新的undo log,它的undo no是1,并且新的undo log会指向老的undo log(undo no=0)。

假设现在执行:

UPDATE user SET id=2 WHERE id=1;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bK3H74iY-1660305915971)(D:\note\笔记仓库\图片\image-20220711164421494.png)]

对于更新主键的操作,会先把原来的数据deletemark标识打开,这时并没有真正的删除数据,真正的删除会交给清理线程去判断,然后在后面插入一条新的数据,新的数据也会产生undo log,并且undo log的序号会递增。

可以发现每次对数据的变更都会产生一个undo log,当一条记录被变更多次时,那么就会产生多条undo log,undo log记录的是变更前的日志,并且每个undo log的序号是递增的,那么当要回滚的时候,按照序号依次向前推,就可以找到我们的原始数据了。

3. undo log是如何回滚的

以上面的例子来说,假设执行rollback,那么对应的流程应该是这样:

  1. 通过undo no=3的日志把id=2的数据删除
  2. 通过undo no=2的日志把id=1的数据的deletemark还原成0
  3. 通过undo no=1的日志把id=1的数据的name还原成Tom
  4. 通过undo no=0的日志把id=1的数据删除
4. undo log的删除
  • 针对于insert undo log

    因为insert操作的记录,只对事务本身可见,对其他事务不可见。故该undo log可以在事务提交后直接删除,不需要进行purge操作。

  • 针对于update undo log

    该undo log可能需要提供MVCC机制,因此不能在事务提交时就进行删除。提交时放入undo log链表,等待purge线程进行最后的删除。

补充:

purge线程两个主要作用是:清理undo页清理page里面带有Delete_Bit标识的数据行。在InnoDB中,事务中的Delete操作实际上并不是真正的删除掉数据行,而是一种Delete Mark操作,在记录上标识Delete_Bit,而不删除记录。是一种“假删除”,只是做了个标记,真正的删除工作需要后台purge线程去完成。

2.6 小结

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ayzLyTyu-1660305915971)(D:\note\笔记仓库\图片\image-20220711165612956.png)];
![

undo log是逻辑日志,对事务回滚时,只是将数据库逻辑地恢复到原来的样子。

redo log是物理日志,记录的是数据页的物理变化,undo log不是redo log的逆过程。

3.binlog

binlog可以说是MySQL中比较 重要 的日志了,在日常开发及运维过程中,经常会遇到。

binlog即binary log,二进制日志文件,也叫作变更日志(update log)。它记录了数据库所有执行的 DDLDML 等数据库更新事件的语句,但是不包含没有修改任何数据的语句(如数据查询语句select、 show等)。

它以==事件形式==记录并保存在二进制文件中。通过这些信息,我们可以再现数据更新操作的全过程。

如果想要记录所有语句(例如,为了识别有问题的查询),需要使用通用查询日志

binlog的主要应用场景

  • 数据恢复:如果MySQL数据库意外停止,可用binlog查询用户执行了哪些操作。然后根据二进制文件中的记录来恢复数据库服务器

  • 数据复制:在主从复制架构中,master主服务器把它的二进制文件发送给slave从服务器,并通过中继日志来达到数据一致性的效果

    中继日志只在主从服务器架构的从服务器上存在,要从主服务器读取二进制日志的内容,并且把读取到的信息写入 本地的日志文件 中,这个从服务器本地的日志文件就叫 中继日志 。然后,从服务器读取中继日志,并根据中继日志的内容对从服务器的数据进行更新,完成主从服务器的 数据同步 。

写入机制

binlog的写入时机也非常简单,事务执行过程中,先把日志写到 binlog cache事务提交的时候再把binlog cache写到binlog文件中。因为一个事务的binlog不能被拆开,无论这个事务多大,也要确保一次性写入,所以系统会给每个线程分配一个块内存作为binlog cache。

我们可以通过binlog_cache_size参数控制单个线程 binlog cache 大小,如果存储内容超过了这个参数,就要暂存到磁盘(Swap)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KpUYVfdO-1660394654524)(D:\note\笔记仓库\图片\image-20220715172958729.png)]

  • 上图的write,是指把日志写入到文件系统的page cache,并没有把数据持久化到磁盘,所以速度比较快
  • 上图的fsync,才是将数据持久化到磁盘的操作

关于刷盘策略:write和fsync的时机由参数 sync_binlog 控制:

  • 默认是 0 :为0的时候,表示每次提交事务都只 write,由系统自行判断什么时候执行fsync。(fsync时系统宕机会导致数据丢失)
  • 设置为 1 :表示每次提交事务都会执行fsync,就如同redo log 刷盘流程一样。
  • 有一种折中方式,可以设置为N(N>1):表示每次提交事务都write,但累积N个事务后才fsync。

binlog与redolog对比

  • redo log 它是 物理日志 ,记录内容是“在某个数据页上做了什么修改”,属于 InnoDB 存储引擎层产生的。
  • binlog 是 逻辑日志 ,记录内容是语句的原始逻辑,类似于“给 ID=2 这一行的 c 字段加 1”,属于 MySQL Server 层。
  • 虽然它们都属于持久化的保证,但是侧重点不同。
    • redo log让InnoDB存储引擎拥有了崩溃恢复能力。
    • binlog保证了MySQL集群架构的数据一致性。

两阶段提交

redo log在事务执行过程中会一直写入,而undo log需要在事务提交的时候才写入磁盘。如果这个时候宕机,undo log里的数据就丢失了。为此,提出了两阶段事务提交。

将redo log的写入拆成了两个步骤prepare和commit,这就是两阶段提交

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NEBeVOiD-1660394654532)(D:\note\笔记仓库\图片\image-20220715195635196.png)]

使用两阶段提交后,写入binlog时发生异常不会有影响,因为MySQL根据redo log日志恢复数据时,发现redo log还处于prepare阶段,并且没有对应binlog日志,就会回滚该事务。

redo log在commit阶段发生异常,也不会回滚事务:MySQL能够通过事务id找到对应的binlog日志,所以MySQL认为是完整的,就会提交事务恢复数据。

猜你喜欢

转载自blog.csdn.net/qq_53578500/article/details/126310630
今日推荐