内存数据原子的写到磁盘解决方案之innodb特性double write

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dreamvyps/article/details/84708855

场景

我们先来讨论一个场景。假设有一段内存,例如是1M大小,需要保证原子的写到磁盘里面,而且如果发生异常情况下,能够原子的恢复起来。正常情况下,只需要使用write系统调用,即可将数据down到磁盘中。绝大多数情况下,这样做都不会有问题。但如果是可靠性要求特别高的系统的数据,需要持久化且用于数据恢复,则来不得半点马虎。这其中就存在写磁盘原子性的问题。
可靠性这里存在两个主要问题:1、写磁盘缓冲问题。2、写磁盘原子性问题。

缓冲问题:这里可以参考之前写过的一篇博客,磁盘IO效率中的第四个问题描述,里面有讲述如何避免因为写磁盘的时候,写到OS的缓冲区中,因为掉电等原因,让数据丢失。

原子性问题:写磁盘过程中,我们知道,操作系统与磁盘的数据交换单位,是以扇区为基本单位。一次操作,是写一个扇区大小的数据(512字节)。那么如果我们写的是512字节以内的数据的话,我们只需要无缓冲的写入磁盘,则可以保证这次数据原子的写入到磁盘,不会出现只写了256字节,而剩下的256字节未写入的情况,这个由磁盘的特性做保证。而很多情况下,我们要落地的数据,它不止512字节情况,而且又是一个数据整体,不允许只写成功一部分的情况。此时如何解决?请看下面innodb里面是如何巧妙解决这个技术问题。

double write技术

innodb中,数据页的落地机制,面临我们在前面提到的技术挑战。innodb操作数据的基本单位是页(16K字节)。而落地的时候,页数据必须能保证原子地写入到磁盘中。或者说如果写入失败,有其他办法能够原子的恢复成功。我们具体看看是如何实现?在这里插入图片描述
具体做法如下:
1、对数据页要落地的时候,不是直接把数据写到磁盘中,而是先把数据写到一个double write缓冲。
2、double write缓冲会先把缓冲的数据写到double write缓冲对应的磁盘中,马上调用fsync,确保落到磁盘。此时,写磁盘是顺序写操作。
3、把double write缓冲区的数据,再写到对应的数据文件中。

具体分析:
1、如果double write缓冲落磁盘的时候发生异常,则真正的数据文件不会被写操作,因此,可以保证数据文件的一致性。
2、如果是写数据文件的时候,发生异常,发生了部分写操作。则恢复数据的时候,通过对应的double write磁盘中的页副本,对数据文件进行恢复。因此,数据一致性仍然可以保证。

总结

通过学习innodb中的double write技术,可以理解innodb是如何将页数据安全完整的落到磁盘中,而这个技巧,也可以用到工程中其他有类似业务场景的需求中,做到真正理解后并能正确运用,这才会有水平上的提升。

猜你喜欢

转载自blog.csdn.net/dreamvyps/article/details/84708855
今日推荐