Redis介绍之持久化(三)

持久化之RDB与AOF

RDB(Redis DataBase)

指定的时间间隔内生成内存中整个数据集的持久化快照。快照文件默认被存储在当前文件夹中,名称为dump.rdb,可以通过dir和dbfilename参数来修改默认值。(在指定的时间间隔内将内存内存中的数据集快照写入磁盘)(Snapshot快照)

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何的IO操作的,这就确保了极高的性能。

Fork就是复制一个当前进程一样的进程,新进程的所有数据数值和原进程一致,并作为原进程的子进程

配置文件

# redis是基于内存的数据库,可以通过设置该值定期写入磁盘。
# 注释掉“save”这一行配置项就可以让保存数据库功能失效
# 900秒(15分钟)内至少1个key值改变(则进行数据库保存--持久化) 
# 120秒(2分钟)内至少10个key值改变(则进行数据库保存--持久化) 
# 60秒(1分钟)内至少10000个key值改变(则进行数据库保存--持久化)
# 满足任意一条就可以形成dump.rdb文件
save 900 1
save 120 10
save 60 10000
 
#当RDB持久化出现错误后,是否依然进行继续进行工作,yes:不能进行工作,no:可以继续进行工作,可以通过info中的rdb_last_bgsave_status了解RDB持久化是否有错误
stop-writes-on-bgsave-error yes
 
#使用压缩rdb文件,rdb文件压缩使用LZF压缩算法,yes:压缩,但是需要一些cpu的消耗。no:不压缩,需要更多的磁盘空间
rdbcompression yes
 
#是否校验rdb文件。从rdb格式的第五个版本开始,在rdb文件的末尾会带上CRC64的校验和。这跟有利于文件的容错性,但是在保存rdb文件的时候,会有大概10%的性能损耗,所以如果你追求高性能,可以关闭该配置。
rdbchecksum yes
 
#rdb文件的名称
dbfilename dump.rdb
 
#数据目录,数据库的写入会在这个目录。rdb、aof文件也会写在这个目录
dir /data

触发时机

1、配置文件默认的快照配置(多少秒内至少多少个key改变)

2、利用命令save、bgsave,快速的形成dump.rdb文件

save:save只管保存,其他不管, 全部阻塞
bgsave:Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求,可以通过lastsave命名获取最好一次成功执行快照的时间

3、执行flushall命令,会触发产生dump.rdb文件,但是这时里面会为空。

4、通过shutdown命令,安全退出,也会生成快照文件(和异常退出形成对比,比如:kill杀死进程的方式)
****当执行shutdown的时候,就会执行将内存的数据形成dump.rdb。当重新启动redis的时候,会自定将dump.rdb中的数据写入内存。(若在shutdown执行之前,调用了flushAll,那么dump.rdb文件也会为空了)
****若很急速的想将一些数据进行写入dump.rdb文件,可以直接输入save命令

如何恢复

1、将备份文件(dump.rdb)移动到redis安装的目录并启动服务即可

appendonly 设置成no,redis启动时会把/var/lib/redis 目录下的dump.rdb 中的数据恢复。dir 和dbfilename 都可以设置。我测试时appendonly 设置成yes 时候不会将dump.rdb文件中的数据恢复。

优势

1、恢复数据的速度很快,适合大规模的数据恢复,而又对部分数据不敏感的情况
2、dump.db文件是一个压缩的二进制文件,文件暂用空间小

劣势

1、当出现异常退出时,会丢失最后一次快照后的数据
2、当fork的时候,内存的中的数据会被克隆一份,大致两倍的膨胀需要考虑。而且,当数据过大时,fork操作占用过多的系统资源,造成主服务器进程假死。

AOF(Append Only File)

日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作补不可记录),只许追加文件但不可以改写文件,redis启动之初会读取改文件重新构建数据。
保存的是appendonly.aof文件

配置文件

#默认redis使用的是rdb方式持久化,这种方式在许多应用中已经足够用了。
#但是redis如果中途宕机,会导致可能有几分钟的数据丢失,根据save来策略进行持久化,Append Only File是另一种持久化方式,可以提供更好的持久化特性。
#Redis会把每次写入的数据在接收后都写入 appendonly.aof 文件,每次启动时Redis都会先把这个文件的数据读入内存里,先忽略RDB文件。
# no是启动rdb,yes是启动aof,先忽略RDB文件
appendonly no

  
#aof文件名
appendfilename "appendonly.aof"

 
#aof持久化策略的配置
#no表示不执行fsync,由操作系统保证数据同步到磁盘,速度最快。
#always表示每次写入都执行fsync,以保证数据同步到磁盘。
#everysec表示每秒执行一次fsync,可能会导致丢失这1s数据。
appendfsync everysec


 
# 在aof重写或者写入rdb文件的时候,会执行大量IO,
# 此时对于everysec和always的aof模式来说,执行fsync会造成阻塞过长时间,
# no-appendfsync-on-rewrite字段设置为默认设置为no,是最安全的方式,不会丢失数据,但是要忍受阻塞的问题。如果对延迟要求很高的应用
# 这个字段可以设置为yes,,设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,不会造成阻塞的问题(因为没有磁盘竞争),等rewrite完成后再写入,这个时候redis会丢失数据。Linux的默认fsync策略是30秒。可能丢失30秒数据。因此,如果应用系统无法忍受延迟,而可以容忍少量的数据丢失,则设置为yes。如果应用系统无法忍受数据丢失,则设置为no。
no-appendfsync-on-rewrite no
 
 
#aof自动重写配置。当目前aof文件大小超过上一次重写的aof文件大小的百分之多少进行重写,即当aof文件增长到一定大小的时候Redis能够调用bgrewriteaof对日志文件进行重写。当前AOF文件大小是上次日志重写得到AOF文件大小的二倍(设置为100)时,自动启动新的日志重写过程。
auto-aof-rewrite-percentage 100
#设置允许重写的最小aof文件大小,避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb
 
 
#aof文件可能在尾部是不完整的,当redis启动的时候,aof文件的数据被载入内存。重启可能发生在redis所在的主机操作系统宕机后,尤其在ext4文件系统没有加上data=ordered选项(redis宕机或者异常终止不会造成尾部不完整现象。)出现这种现象,可以选择让redis退出,或者导入尽可能多的数据。如果选择的是yes,当截断的aof文件被导入的时候,会自动发布一个log给客户端然后load。如果是no,用户必须手动redis-check-aof修复AOF文件才可以。
aof-load-truncated yes

如何恢复

正常恢复(前提appendonly yes)

   将文件放到dir指定的文件夹下,当redis启动的时候会自动加载数据,

注意:aof文件的优先级比dump大。

异常恢复

有些操作可以直接到appendonly.aof文件里去修改。
(使用了flushall这个命令,此刻持久化文件中就会有这么一条命令记录,把它删掉就可以了)
写坏的文件可以通过 redis-check-aof --fix appendonly.aof进行修复

优势

1、根据不同的策略,可以实现每秒,每一次修改操作的同步持久化,就算在最恶劣的情况下只会丢失不会超过两秒数据。
2、当文件太大时,会触发重写机制,确保文件不会太大。
3、文件可以简单的读懂

劣势

1、aof文件的大小太大,就算有重写机制,但重写所造成的阻塞问题是不可避免的
2、aof文件恢复速度慢

总结

如果你只希望你的数据在服务器运行的时候存在,可以不使用任何的持久化方式

一般建议同时开启两种持久化方式。AOF进行数据的持久化,确保数据不会丢失太多,而RDB更适合用于备份数据库,留着一个做万一的手段。

性能建议:

因为RDB文件只用做后备用途,建议只在slave上持久化RDB文件,而且只要在15分钟备份一次就够了,只保留900 1这条规则。

如果Enalbe AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自己的AOF文件就可以了。代价:1、带来了持续的IO;2、AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上。默认超过原大小100%大小时重写可以改到适当的数值。

如果不Enable AOF,仅靠Master-Slave Replication 实现高可用性也可以。能省掉一大笔IO也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时宕掉,会丢失10几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个。新浪微博就选用了这种架构。

猜你喜欢

转载自blog.csdn.net/weixin_42272869/article/details/112743637