redis持久化数据

1、为什么要持久化

redis数据是保存在内存中,如果不做持久化。一旦出现redis进程挂掉或者redis所在服务器宕机等异常情况,重启redis后缓存数据为空。大量请求过来,缓存命中率为0(即缓存已雪崩),导致数据访问直接穿透到DB这一层。DB也可能一下子无法承受过多并发的负载,直接挂掉。

简单点说,持久化是为了:数据恢复,灾难恢复。灾难恢复主要考虑到需要将持久化数据文件异地备份或云端备份,考虑到机房发生火灾、地震等不可抗因素。持久化也可以认为是一种伪高可用的表现。

 

2、持久化的两种机制

RDB(Redis DB):按照一定的规则,周期性的持久化。(默认开启)

AOF(Append Only File):每条写入命令以命令日志的方式追加到文件中。(默认关闭,如果和RDB同时开启,每次启动时优先以AOF文件来构建缓存数据,因为比较数据比较新)

 

3、RDB

不管是周期性持久化还是调用(save|bgsave|shutdown)等命令触发的持久化,原理都是类似。redis父进程会fork出一个子进程进行数据的持久化,父进程继续处理用户的请求,待子进程处理完后会用临时文件替换RDB文件。

优点:

扫描二维码关注公众号,回复: 219379 查看本文章

1、数据紧凑,同样时间段的数据日志文件,RDB要比AOF的小

2、如果数据量大时,RDB的恢复速度比AOF快

缺点:

1、周期性的持久化势必会导致发生故障时,持久化的数据可能不是最新的,存在上次持久化与故障时间之间的缓存数据丢失问题。

2、如果数据量大,fork出的子进程写数据也比较耗时,会占用CPU等系统资源,也可能会是父进程存在短暂的停止响应。如果数据没写完,发生故障,也存在数据丢失。所以,如果在数据一致性要求比较高的场景,rdb不推荐不适合做第一优先的        恢复方案,适合冷备。

默认的触发策略:

save 900 1       (15分钟变更一次)
save 300 10     (5分钟变更10次)
save 60 10000  (1分钟变更1万次)

默认文件配置

dbfilename dump.rdb

持久化文件存储目录(RDB和AOF都适用),默认为根目录

dir ./

 

4、AOF

通过记录发送到服务器的写操作命令来形成日志文件(读操作不记录),当日志文件大小超过设置的阈值时,根据当前内存数据重新生成(rewrite)新的AOF文件。

开启AOF持久化

appendonly yes(默认no,关闭)

持久化文件名

appendfilename "appendonly.aof"

策略

appendfsync always #每次都同步,保证数据不会丢失,但会慢

appendfsync everysec #每秒同步,系统默认同步策略

appendfsync no #不主动同步,由操作系统决定,快,但数据容易丢失

修复日志文件

redis-check-aof --fix AOF配置文件名称

重写AOF文件

定义:AOF采用文件追加的方式持久化数据,所以文件会越来越大,为了避免这种情况发生,增加了重写机制

          当AOF文件的大小超过了配置所设置的阙值时(默认为100%,即一倍大小),Redis就会启动AOF文件压缩,只保留可以恢复数据的最小指令集,可以使用命令bgrewriteaof手动触发。

原理:当AOF增长过大时,会fork出一条新的进程将文件重写(也是先写临时文件最后rename),遍历新进程的内存数据,每条记录有一条set语句。

   重写AOF文件并没有操作旧的AOF文件,而是将整个内存中的数据内容用命令的方式重写了一个新的aof文件(有点类似快照)

触发机制:Redis会记录上次重写时的AOF文件大小,默认配置时当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发

     auto-aof-rewrite-percentage 100  (一倍)
       auto-aof-rewrite-min-size 64mb

同步过程: 
1、Redis 执行 fork() ,现在同时拥有父进程和子进程。 
2、子进程开始将新 AOF 文件的内容写入到临时文件。 
3、对于所有新执行的写入命令,父进程一边将它们累积到一个内存缓存中,一边将这些改动追加到现有 AOF 文件的末尾: 这样即使在重写的中途发生停机,现有的 AOF 文件也还是安全的。 
4、当子进程完成重写工作时,它给父进程发送一个信号,父进程在接收到信号之后,将内存缓存中的所有数据追加到新 AOF 文件的末尾。 
5、搞定!现在 Redis 原子地用新文件替换旧文件,之后所有命令都会直接追加到新 AOF 文件的末尾。

猜你喜欢

转载自hengdu.iteye.com/blog/2401294