Redis持久化与性能管理

一、Redis高可用

在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、 99.99%、 99.999%等等)。但是在Redis语境中, 高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展,数据安全不会丢失等。

在Redis中,实现高可用的技术主要包括持久化、主从复制、哨兵和集群,作用如下:

持久化: 持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失。

主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化; 写操作无法负载均衡; 存储能力受到单机的限制。

哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复缺陷 :写操作无法负载均衡;存储能力受到单机的限制。

集群: 通过集群, Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善 的高可用方案。

二、Redis持久化

1. 持久化的功能

Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下次Redis重启时,利用持久化文件实现数据恢复。除此之外,为了进行灾难备份,可以将持久化文件拷贝到一个远程位置。

2. Redis提供两种方式进化持久化(面试会问)

RDB持久化(Redis DataBase):原理是将Reids在内存中的数据库记录定时保存到磁盘上。

AOF持久化(append only file):原理是将Reids的操作日志以追加的方式写入文件,类似于MySQL的binlog。

三、RDB持久化

RDB持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化),用二进制压缩存储,保存的文件后缀是rdb;当Redis重新启动时,可以读取快照文件恢复数据。

1. 触发条件

RDB持久化的触发分为:手动触发自动触发两种。

① 手动触发

save命令和bgsave命令都可以生成RDB文件。

save命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在Redis服务器阻塞期间,服务器不能处理任何命令请求。

bgsave命令会创建一个子进程,由子进程来负责创建RDB文件,父进程 (即Redis主进程) 则继续处理请求。

bgsave命令执行过程中,只有fork 子进程时会阻塞服务器,而对于save命令,整个过程都会阻塞服务器,因此save已基本被废弃,线上环境要杜绝save的使用!!!

② 自动触发

在自动触发RDB持久化时,Redis也 会选择bgsave而不是save来进行持久化。

#通过配置设置来触发:save m n
#自动触发最常见的情况是在配置文件中通过save m n,指定当m秒内发生n次变化时,会触发bgsave。

vim  /etc/redis/6379.conf

-----219行--以下三个save条件满足任意一个时,都会引起bgsave的调用

save 900 1 :当时间到900秒时,如果redis数据发生了至少1次变化,则执行bgsave

save 300 10 :当时间到300秒时, 如果redis数据发生了至少10次变化,则执行bgsave

save 60 10000 :当时间到60秒时,如果redis数据发生了至少10000次变化, 则执行bgsave

-----242行--是否开启RDB文件压缩

rdbcompression yes

-----254行--指定RDB文件名

dbfilename dump.rdb

-----264行--指定RDB文件和AOF文件所在目录

dir /var/lib/redis/6379

③ 其他自动触发机制

除了 savemn 以外,还有一些其他情况会触发bgsave:

在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点。

执行shutdown命令时,自动执行rdb持久化。

2. 执行流程

① Redis父进程首先判断 :当前是否在执行save,或bgsave/bgrewriteaof的子进程,如果在执行则bgsave命令直接返回。bgsave/bgrewriteaof 的子进程不能同时执行,主要是基于性能方面的考虑:两个并发的子进程同时执行大量的磁盘写操作,可能引起严重的性能问题。

② 父进程执行fork操作创建子进程,这个过程中父进程是阻塞的,Redis不能执行来自客户端的任何命令

③ 父进程fork后,bgsave 命令返回Background saving started 信息并不再阻塞父进程,并可以响应其他命令

④ 子进程创建RDB文件,根据父进程内存快照生成临时快照文件,完成后对原有文件进行原子替换

⑤ 子进程发送信号给父进程表示完成,父进程更新统计信息

3. 启动时加载

RDB文件的载入工作是在服务器启动时自动执行的,并没有专门的命令。但是由于A0F的优先级更高,因此当AOF开启时,Redis会优先载入AOF文件来恢复数据;只有当A0F关闭时,才会在Redis服务器启动时检测RDB文件,并自动载入。服务器载入RDB文件期间处于阻塞状态,直到载入完成为止。

Redis载入RDB文件时,会对RDB文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败。

四、AOF持久化

RDB持久化是将进程数据写入文件,而AOF持久化,则是将Redis执行的每次写、删除命令记录到单独的日志文件中,查询操作不会记录; 当Redis重启时再次执行AOF文件中的命令来恢复数据。

与RDB相比,AOF的实时性更好,因此已成为主流的持久化方案。

1. 开启AOF

Redis服务器默认开启RDB,关闭AOF的, 要开启AOF,需要在/etc/ redis/6379.conf配置文件中配置。

vim /etc/redis/6379.conf

--700行--修改,开启AOF

appendonly yes

--704行--指定A0F文件名称

appendfilename "appendonly.aof"

--796行--是否忽略最后一条可能存在问题的指令

aof-load-truncated yes

/etc/init.d/redis_6379 restart   重启服务

2. 执行流程

由于需要记录Redis的每条写命令,因此A0F不需要触发,AOF的执行流程如下:

命令追加(append): 将Redis的写命令追加到缓冲区aof_ buf;

文件写入(write)和文件同步(sync):根据不同的同步策略将aof_buf中的内容同步到硬盘;

文件重写(rewrite): 定期重写AOF文件,达到压缩的目的。

1)命令追加

Redis先将写命令追加到缓冲区,而不是直接写入文件,主要是为了避免每次有写命令都直接写入硬盘,导致硬盘IO成为Redis负载的瓶颈。

命令追加的格式是Redis命令请求的协议格式,它是一种纯文本格式,具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点。

2)文件写入和文件同步

Redis 提供了多种AOF缓存区的同步文件策略,策略涉及到操作系统的write函数和fsync函数,

AOF缓存区的同步文件策略存在三种同步方式,它们分别是:

vim /etc/redis/6379.conf

---729---

appendfsync always:       #一致触发AOF的持久化

appendfsync no:              #不执行持久化

appendfsynceverysec:     #每秒触发一次就持久化

3)文件重写

文件重写是指定期重写AOF文件,减小AOF文件的体积。需要注意的是,AOF重写是把Redis进程内的数据转化为写命令,同步到新的AOF文件;不会对旧的AOF文件进行任何读取、写入操作!

关于文件重写需要注意的另一点是:对于AOF持久化来说,文件重写虽然是强烈推荐的,但并不是必须的;即使没有文件重写,数据也可以被持久化并在Redis启动的时候导入:因此在一些实现中,会关闭自动的文件重写,然后通过定时任务在每天的某一时刻定时执行。

3. 文件重写的流程

  • Redis父进程首先判断当前是否存在正在执行bgsave/bgrewriteaof的子进程,如果存在则bgrewriteaof命令直接返回,如果存在bgsave命令则等bgsave执行完成后再执行
  • 父进程执行fork操作创建子进程,这个过程中父进程是阻塞的。
  • 父进程fork后,bgrewriteaof 命令返回"Background append only file rewrite started" 信息并不再阻塞父进程,并可以响应其他命令。Redis的所有写命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有A0F机制的正确。
  • 由于fork操作使用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然在响应命令,因此Redis使用AOF重写缓冲区(aof_ rewrite_buf) 保存这部分数据,防止新AOF文件生成期间丢失这部分数据。也就是说,bgrewriteaof执行 期间,Redis的写 命令同时追加到aof_ buf和aof_ rewirte_ buf两个缓冲区。
  • 子进程根据内存快照,按照命令合并规则写入到新的AOF文件。
  • 子进程写完新的AOF文件后,向父进程发信号,父进程更新统计信息,具体可以通过info persistence查看。
  • 父进程把AOF重写缓冲区的数据写入到新的AOF文件,这样就保证了新AOF文件所保存的数据库状态和服务器当前状态一致。
  • 使用新的AOF文件替换老文件,完成AOF重写。

五、RDB和AOF的优缺点

1. RDB持久化的优缺点

优点:

1)持久化,速度快(因为保存的数据结果),在写入到*.rdb持久化文件会进行压缩,来减小自身的体积

2)集群中,redis主从复制,从-->主服务器进行同步,默认先使用RDB文件进行恢复操作,所以同步性能较高

缺点:

1)数据完整性不如AOF

2)RDB类似于快照(完备)

3)在进行备份时,会阻塞进程

2. AOF持久化的优缺点

优势:

1)AOF的数据完整性比RDB高

2)重写功能    会对无效语句 进行删除(目的就是为了节省AOF文件占用磁盘的空间)

缺陷:

1)执行语句一值的情况下,AOF备份的内容更大

(RDB备份的内容较小

RDB备份的是结果

RDB备份的语句)

2)AOF消耗的性能更大,占用磁盘越来越大

总结

redis持久化

1. RDB和AOF的基本理解

RDB:周期性的把内存中的数据保存在磁盘中

AOF:从redis的操作日志记录中将执行的过程同步到磁盘中

2. RDB和AOF的持久化过程

RDB:① 内存中---->写入磁盘中保存的方式

           ② 结果数据--->写入磁盘中的保存的数据对象

           ③ 内存----->写入磁盘后,会进行压缩,来减小*.rdb的磁盘占用空间

AOF:① 内存---->append 追加到缓冲区--->调用CPU资源来写入到磁盘中

           ② 操作日志记录中的执行语句--->追加到缓冲---->调用CPU写入磁盘

           ③ 内存---->缓冲---->磁盘,写入后,会周期性的进行重写,跳过一些‘无效操作’ 保存

3. RDB和AOF触发方式

RDB 分为 ① 手动触发

                  ② 自动触发 save  m  n  (假设save  900 60

                       则表示900秒内有60条语句执行,会进行RDB方式的持久化

                  ③ 特殊触发:当手动关闭redis时,会进行RDB方式的持久化   

AOF:① 手动触发

           ② 自动触发

             1)always 每条语句,同步执行持久化 (有强一致性要的场景)

             2)no   从不进行持久化

             3)everysecond   每秒进行一次AOF持久化(建议使用的,均衡性的场景)

4. RDB和AOF的优先级

前提 ① 因为redis默认是将数据保存在内存中,所以若redis启动、关闭时,内存中的数据会丢失

        ② 在redis每次启动时,都会读取持久化文件,来恢复数据到内存中,以保证redis数据完整性

RDB和AOF优先级

AOF 》》》RDB

猜你喜欢

转载自blog.csdn.net/Guo_youyou/article/details/131944863