Redis 持久化机制RDB与AOF

1 持久化RDB

Redis DataBase

1.1 RDB概念

每隔一段时间，把内存中的数据写入磁盘的临时文件，作为快照，恢复的时候把快照文件读进内存。如果宕机重启，那么内存里的数据肯定会没有的，那么再次启动redis后，则会恢复。

1.2 备份和恢复

内存备份 --> 磁盘临时文件
临时文件 --> 恢复到内存

1.3 RDB优缺点

1.3.1 优势

每隔一段时间备份，全量备份
灾备简单，可以远程传输
子进程备份的时候，主进程不会有任何io操作（不会有写入修改或删除），保证备份数据的的完整性
相对AOF来说，当有更大文件的时候可以快速重启恢复

1.3.2 劣势

发生故障时，有可能会丢失最后一次的备份数据
子进程所占用的内存比会和父进程一模一样，如会造成CPU负担
由于定时全量备份是重量级操作，所以对于实时备份，就无法处理了

1.4 RDB配置

save 900 1
save 300 10
save 60 10000
save 10 3

* 如果1个缓存更新，则15分钟后备份
* 如果10个缓存更新，则5分钟后备份
* 如果10000个缓存更新，则1分钟后备份
* 演示：更新3个缓存，10秒后备份
* 演示：备份dump.rdb，删除重启

1 stop-writes-on-bgsave-error

yes：如果save过程出错，则停止写操作
no：可能造成数据不一致

2 rdbcompression

yes：开启rdb压缩模式
no：关闭，会节约cpu损耗，但是文件会大，道理同nginx

3 rdbchecksum

yes：使用CRC64算法校验对rdb进行数据校验，有10%的性能损耗
no：不校验

1.5 RDB测试

1.5.1 修改配置文件

[root@localhost ~]# cd /usr/local/redis
[root@localhost redis]# vi 6379.conf

#   It is also possible to remove all the previously configured save
#   points by adding a save directive with a single empty string argument
#   like in the following example:
#
#   save ""

save 900 1
save 300 10
save 60 10000
save 10 3

root@localhost redis]# /etc/init.d/redis_init_script stop
Stopping ...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Waiting for Redis to shutdown ...
Redis stopped
[root@localhost redis]# /etc/init.d/redis_init_script start
Starting Redis server...
16429:C 08 Feb 2021 17:04:01.087 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
16429:C 08 Feb 2021 17:04:01.094 # Redis version=5.0.5, bits=64, commit=00000000, modified=0, pid=16429, just started
16429:C 08 Feb 2021 17:04:01.094 # Configuration loaded
[root@localhost redis]# cd /usr/local/redis/working
[root@localhost working]# ll --full-time
总用量 8
-rw-r--r--. 1 root root 5713 2021-02-08 17:03:56.993740635 +0800 dump.rdb

1.5.2 存储数据

[root@localhost ~]# redis-cli
127.0.0.1:6379> auth auskat
OK
127.0.0.1:6379> set aa aa
OK
127.0.0.1:6379> set bb bb
OK
127.0.0.1:6379> set cc ccc
OK

1.5.3 查看结果

/usr/local/redis/working 这个路径是配置文件 dir 配置的路径

dir /usr/local/redis/working

[root@localhost working]# ll --full-time
总用量 8
-rw-r--r--. 1 root root 5740 2021-02-08 17:09:09.390347124 +0800 dump.rdb

2 持久化AOF

Append Only File

RDB会丢失最后一次备份的rdb文件，如果对数据整体的完整度要求不高是可以的，但是如果追求数据的完整性，那就要考虑使用AOF。

2.1 AOF概念

以日志的形式来记录用户请求的写操作。读操作不会记录，因为写操作才会存存储。
文件以追加的形式而不是修改的形式
redis的aof恢复其实就是把追加的文件从开始到结尾读取执行写操作

2.2 AOF优缺点

2.2.1 优势

AOF更加耐用，可以以秒级别为单位备份，如果发生问题，也只会丢失最后一秒的数据，大大增加了可靠性和数据完整性。所以AOF可以每秒备份一次，使用fsync操作。
以log日志形式追加，如果磁盘满了，会执行 redis-check-aof 工具
当数据太大的时候，redis可以在后台自动重写aof。当redis继续把日志追加到老的文件中去时，重写也是非常安全的，不会影响客户端的读写操作。
AOF 日志包含的所有写操作，会更加便于redis的解析恢复

2.2.2 劣势

相同的数据，同一份数据，AOF比RDB大
针对不同的同步机制，AOF会比RDB慢，因为AOF每秒都会备份做写操作，这样相对与RDB来说就略低。每秒备份fsync没问题，但是如果客户端的的每次写入就做一次备份fsync的话，那么redis的性能就会下降。
AOF发生过bug，就是数据恢复的时候数据不完整，这样显得AOF会比较脆弱，容易出现bug，因为AOF没有RDB那么简单，为了防止BUG产生，AOF就不会根据旧的指令去重构，而是根据当时缓存中存在的数据指令去做重构，这样就更加健壮和可靠了

2.3 AOF配置

# AOF 默认关闭，yes可以开启
appendonly no
# AOF 的文件名
appendfilename "appendonly.aof"
# no：不同步
# everysec：每秒备份，推荐使用
# always：每次操作都会备份，安全并且数据完整，但是慢性能差
appendfsync everysec
# 重写的时候是否要同步，no可以保证数据安全
no-appendfsync-on-rewrite no
# 重写机制：避免文件越来越大，自动优化压缩指令，会fork一个新的进程去完成重写动作，新进程里的内存数据会被重写，此时旧的AOF文件不会被读取使用，类似RDB
# 当前AOF文件的大小是上次AOF大小的100% 并且文件体积达到64m，满足两者则触发重写
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

2.4 AOF测试

2.4.1 修改配置文件

# AOF 默认关闭，yes可以开启
appendonly yes

root@localhost redis]# /etc/init.d/redis_init_script stop
Stopping ...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Waiting for Redis to shutdown ...
Redis stopped
[root@localhost redis]# /etc/init.d/redis_init_script start
Starting Redis server...
16429:C 08 Feb 2021 17:04:01.087 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
16429:C 08 Feb 2021 17:04:01.094 # Redis version=5.0.5, bits=64, commit=00000000, modified=0, pid=16429, just started
16429:C 08 Feb 2021 17:04:01.094 # Configuration loaded
[root@localhost redis]# cd /usr/local/redis/working
[root@localhost working]# ll --full-time
总用量 8
-rw-r--r--. 1 root root    0 2021-02-08 17:15:23.437467996 +0800 appendonly.aof
-rw-r--r--. 1 root root 5740 2021-02-08 17:15:16.547410508 +0800 dump.rdb

2.4.2 存储数据

[root@localhost ~]# redis-cli
127.0.0.1:6379> auth auskat
OK
127.0.0.1:6379> set aaa aa
OK
127.0.0.1:6379> set bbb bb
OK
127.0.0.1:6379> set ccc ccc
OK

2.4.3 查看结果

[root@localhost working]# ll --full-time
总用量 8
-rw-r--r--. 1 root root 116 2021-02-08 17:16:34.004056771 +0800 appendonly.aof
-rw-r--r--. 1 root root 124 2021-02-08 17:16:34.177058213 +0800 dump.rdb
[root@localhost working]# vi appendonly.aof

*2
$6
SELECT
$1
0
*3
$3
set
$3
aaa
$3
aaa
*3
$3
set
$3
bbb
$3
bbb
*3
$3
set
$3
ccc
$3
ccc

2.4.4 数据恢复

[root@localhost ~]# redis-cli
127.0.0.1:6379> auth auskat
OK
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> keys *
(empty list or set)

修改AOF文件删除最后一行命令，flushdb，然后重启redis服务

[root@localhost working]# vi appendonly.aof

[root@localhost working]# /etc/init.d/redis_init_script stop
Stopping ...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Waiting for Redis to shutdown ...
Redis stopped
[root@localhost working]# /etc/init.d/redis_init_script start
Starting Redis server...
16595:C 08 Feb 2021 17:19:51.643 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
16595:C 08 Feb 2021 17:19:51.643 # Redis version=5.0.5, bits=64, commit=00000000, modified=0, pid=16595, just started
16595:C 08 Feb 2021 17:19:51.643 # Configuration loaded

[root@localhost ~]# redis-cli
127.0.0.1:6379> auth auskat
OK
127.0.0.1:6379> keys *
1) "bbb"
2) "ccc"
3) "aaa"

3 持久化方案

如果可以接受一段时间的缓存丢失，那么可以使用RDB
如果对数据完整性要求比较高，那么就用AOF
一般情况下，会采用的方式，是RDB和AOF一起配合使用，RDB做冷备，可以在不同时期对不同的版本进行恢复，AOF做热备，

保证数据仅仅只有1秒的损失。当AOF破损不可用了，那么在用RDB恢复，两者结合的话，Redis恢复会先加载AOF，如果AOF有问题再加载RDB，达到冷热兼备的目的。

4 相关信息

博文不易，辛苦各位猿友点个关注和赞，感谢