【面试题】Redis相关

1.Redis与Memorycache的区别?

  • Redis使用单线程,而Memcached是多线程,

  • Redis使用现场申请内存的方式来存储数据,并且可以配置虚拟内存;Memcached使用预分配的内存池的方式。

  • Redis实现了持久化和主从同步,容灾性会更强。而Memcached只是存放在内存中,服务器故障关机后数据就会消失,

  • Redis支持五种数据类型:string,list, Hash,set及zset。而Memcached只是简单的key与value

  • Redis的优点:对数据高并发读写、对海量数据的高效率存储和访问、对数据的可扩展性和高可用性

  • Redis的应用场景:取最新N个数据的操作、排行榜应用取TOP N操作、需要精准设定过期时间的应用、计数器应用、获取某段时间所有数据排重值的唯一性操作、实时消息系统、构建队列系统、作缓存。

2.Redis的五种数据结构?

  • redisObject包含type、encoding、refcount、lru 、*ptr
数据结构 编码类型 常用命令
String int、embstr(39)、raw set/setnx name value
list ziplist(64、512)、list lpush、rpop、llen
hash ziplist(64、512)、hashtable hset、hlen、hget
set intset(512)、hashtable sadd、scard、smembers、srem
zset ziplist(64、128)、skiplist zadd、zcard、zrangebyscore

注:embstr编码创建字符串对象只需内存分配一次,调用一次内存释放函数,而raw都需要两次。可使用INCR和INCRBY生成分布式系统唯一序列号ID

  • 双向链表便于在表的两端操作,但是它的内存地址不连续,容易产生内存碎片。ziplist是一整块连续内存,存储效率很高。但它每次数据变动都会引发一次内存的realloc。所以quicklist结合了双向链表和ziplist的优点,是一个双向无环链表,它的每一个节点都是一个ziplist。

3.渐进式rehash过程?

  • rehash的步骤
    这里写图片描述

  • 为字典的ht[1]哈希表分配空间

    • 若是扩展操作,那么ht[1]的大小为>=ht[0].used*2的2^n
    • 若是收缩操作,那么ht[1]的大小为>=ht[0].used的2^n
  • 将保存在ht[0]中的所有键值对rehash到ht[1]中,rehash指重新计算键的哈希值和索引值,新hash通过hashFunction(key)函数获取, 新的索引值:index=hash&sizemask,然后将键值对放置到ht[1]哈希表的指定位置上。

  • 当ht[0]的所有键值对都迁移到了ht[1]之后(ht[0]变为空表),释放ht[0],将ht[1]设置为ht[0],新建空白的哈希表ht[1],以备下次rehash使用。

  • 扩展与收缩的条件

    • 服务器目前没有执行bgsave或bgrewriteaof命令,并且哈希表的负载因子>=1或正在执行负载因子>=5就会进行rehash操作
    • 当负载因子的值小于0.1时,程序就会对哈希表进行收缩操作
    • 负载因子=ht[0].used/ht[0].size
  • 渐进式rehash:若哈希表中保存着数量巨大的键值对,一次进行rehash,很有可能会导致服务器宕机。所以要分多次、渐进式的完成。采取分为而治的方式,将rehash键值对的计算均摊到每个字典增删改查操作,避免了集中式rehash的庞大计算量。

  • 主要是维持索引计数器变量rehashidx,每次对字典执行增删改查时将rehashidx值+1,当ht[0]的所有键值对都被rehash到ht[1]中,程序将rehashidx的值设置为-1,表示rehash操作完成

4.rehash源码?

  • Redis为了兼顾性能的考虑,分为lazy rehashing:在每次对dict进行操作的时候执行一个slot的rehash。active rehashing:每100ms里面使用1ms时间进行rehash。(serverCron函数),而字典有安全迭代器的情况下不能进行 rehash

  • 字典hash(lazy rehashing)函数调用:_dictRehashStep–> dictRehash

    • 在_dictRehashStep函数中,会调用dictRehash方法,而_dictRehashStep每次仅会rehash一个值从ht[0]到 ht[1],但由于_dictRehashStep是被dictGetRandomKey、dictFind、 dictGenericDelete、dictAdd调用的,因此在每次dict增删查改时都会被调用,这无疑就加快了rehash过程。
    • 在dictRehash函数中每次增量rehash n个元素,由于在自动调整大小时已设置好了ht[1]的大小,因此rehash的主要过程就是遍历ht[0],取得key,然后将该key按ht[1]的 桶的大小重新rehash,并在rehash完后将ht[0]指向ht[1],然后将ht[1]清空。在这个过程中rehashidx非常重要,它表示上次rehash时在ht[0]的下标位置。
  • 一般情况服务器在对数据库执行读取/写入命令时会对数据库进行渐进式 rehash ,但如果服务器长期没有执行命令的话,数据库字典的 rehash 就可能一直没办法完成,为了防止出现这种情况,我们需要对数据库执行主动 rehash 。

  • active rehashing函数调用的过程如下:
    serverCron->databasesCron–>incrementallyRehash->dictRehashMilliseconds->dictRehash,其中incrementallyRehash的时间较长,rehash的个数也比较多。这里每次执行 1 millisecond rehash 操作;如果未完成 rehash,会在下一个 loop 里面继续执行。

5.持久化机制

  • RBD是默认方式,将内存中数据以快照的方式写入到二进制文件中,默认文件名为dump.rdb

  • 触发rdbSave过程的方式

    • save命令:阻塞Redis服务器进程,直到RDB文件创建完毕为止。
    • bgsave命令:派生出一个子进程,然后由子进程负责创建RDB文件,父进程继续处理命令请求。
    • master接收到slave发来的sync命令
    • 定时save(配置文件:900 1或300 10 或 60 10000)
  • 命令bgsave与bgrewriteaof不能同时执行,若bgsave正在执行,则bgrewriteaof延迟到bgsave执行完再执行。若bgrewriteaof正在执行,则服务器拒绝执行bgsave命令。dirty计数器:记录距离上一次save/bgsave命令之后,服务器对数据库状态修改了多少次

  • RDB文件结构:REDIS占5个字节,检查文件是否是RDB文件;db_version长度为4个字节,一个字符串表示的整数,记录了RDB文件的版本号;database包含零个或任意多个数据库;EOF:1个字节,标志着RDB文件正文内容的结束;check_sum:8字节,保存校验和,由前面四部分计算得出的。

  • database结构:SELECTDB:1字节,表示要读一个数据库号码;db_number保存着一个数据库号码;key_value_pairs 保存了数据库中的所有键值对数据,由TYPE、key、value组成

  • RDB的优缺点,优点:一个紧凑的文件,适合大规模的数据恢复,对数据完整性和一致性要求不高,恢复速度快。缺点:若Redis出现宕机,就会丢失最后一次快照后的所有修改。fork时,在数据大时较耗时,不能响应毫秒级请求。

  • AOF:通过保存redis服务器所执行的写命令来记录数据库状态。

  • AOF的优缺点,优点默认策略为每秒钟 fsync 一次,最多丢失一秒的数据,缺点:aof文件要远大于rdb文件,恢复速度慢于rdb,运行效率低。AOF提供更新的数据,而RDB提供更快的恢复速度

  • AOF的修复:如果aof文件被破坏, 程序redis-check-aof–fix会进行修复(在flushAppendOnlyFile函数中),若出现断电等情况,就将写出错的情况记录到日志里,之后会处理错误。重启redis然后重新加载,AOF优先,它保存的数据集要比RDB完整.

  • AOF写入的步骤:命令追加:将命令追加到AOF缓冲区,文件写入,文件同步

  • AOF重写触发机制: 默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时并且没有子进程运行时触发。

  • AOF重写的实现原理 :fork出一条新进程来将文件重写(先写入临时文件最后再rename),遍历新进程数据库的内存数据,将整个内存中的数据库内容用命令的方式重写了一个新的aof文件

  • AOF后台重写:AOF重写程序放到子进程中执行,当Redis执行完一个命令后,它会同时将这个写命令发送给AOF缓冲区和AOF重写缓冲区,最后再写入临时文件中。

  • 虚拟内存:暂时把不经常访问的数据从内存交换到磁盘中,从而提高数据库容量,但代码复杂,重启慢,复制慢等等,目前已被放弃

  • 持久化的优化:抛弃AOF重写机制 ,保存RDB+AOF;Pika:适合数据大于50G且重要,多线程,持久化SSD

6.reaof源码?

这里写图片描述

  • 对于缓存块的大小,因为程序需要不断对这个缓存执行 append 操作,而分配一个非常大的空间并不总是可能的,也可能产生大量的复制工作, 所以这里使用多个大小为 AOF_RW_BUF_BLOCK_SIZE 的空间来保存命令。默认每个缓存块的大小是10MB

  • 如果客户端有命令执行,然后feedAppendOnlyFile函数判断是否开启了AOF标识,若开启,则将命令放入aof_buf_blocks中,继续判断是否有子进程在运行,若有,则说明正在进行reaof,就将命令放入aof_rewrite_buf_blocks中。

  • 服务器开启就是循环文件事件和时间事件的过程,而时间事件是通过ServerCron()函数执行的。该函数会100ms执行一次查看是否有reaof或需要刷新事件。

  • 若有刷新事件(默认每秒),调用flushAppendOnlyFile函数将aof_buf_blocks写入磁盘中,若有reaof事件,调用rewriteAppendOnlyFileBackground()函数,它执行 fork() ,调用rewriteAppendOnlyFile函数子进程,在tmpfile中对 AOF 文件进行重写,完成后子进程结束,通知父进程。

  • 父进程会捕捉子进程的退出信号,如果子进程的退出状态是 OK ,那么父进程调用backgroundRewriteDoneHandler函数将aof_rewrite_buf_blocks追加到临时文件,然后使用 rename(2) 对临时文件改名,用它代替旧的 AOF 文件,但它调用的 write 操作会阻塞主进程。

  • 到现在,后台 AOF 重写已经全部完成了。

7.事务与事件

  • 事务的错误处理:语法错误(入队错误)不会执行,而运行错误(执行错误)其它命令仍然执行。multi会开启事务,exec命令会取消对所有键的监控,还可以用unwatch命令来取消监控,而取消事务的命令为 Discard

  • watch命令可以监控一个或者多个键,一旦有一个键被修改或删除,之后的事务就不会执行。其中exec / discard / unwatch命令会清除连接中的所有监视。通过watched_keys字典,可以知道哪些数据库键在被监视,若被监视的键被修改,则REDIS_DIRTY_CAS标识被打开,Redis中使用watch实现CAS算法。

  • 文件事件处理器由套接字、I/O多路复用程序、文件事件分派器、事件处理器组成。时间事件分为定时事件和周期事件,serverCron函数,定期对自身的资源和状态进行检查。

  • 客户端的关闭,硬性限制:若输出缓冲区的大小超过了硬性限制所设置的大小,就立即关闭客户端,软性限制:若输出缓冲区的大小超过了软性缓冲区的大小,但没超过硬性限制,则会记录客户端到达软性限制的起始时间,若持续时间服务器设置的时长,则关闭客户端。

  • 伪客户端:创建Lua脚本的伪客户端:在服务器初始化时创建,一直持续到服务器关闭。载入AOF文件时使用的伪客户端:在载入时创建,载入完成后关闭。

  • 命令请求从发送到完成的步骤:客户端将命令请求发送给服务器、服务器读取命令请求,并分析命令参数、命令执行器根据参数查找命令的实现函数setCommand,执行实现函数得到回复

  • serverCron函数默认每隔100毫秒执行一次,它的功能如下:更新服务器时间缓存、更新LRU时钟、更新服务器每秒执行命令次数、更新服务器内存峰值记录、处理客户端资源、管理数据库资源、执行被延迟的bgrewriteaof、检查持久化操作的运行状态、将AOF缓冲区中的内容写入AOF文件、关闭异步客户端、增加cronloops计数器的值

8.主从复制

  • 通过执行slaveof命令或设置slaveof选项,让一个服务器去复制另一个服务器。允许多个slave server拥有和mater server相同的数据库副本

  • 旧版复制功能(2.8之前):同步(SYNC)和命令传播。缺点:断线后复制的效率低。

  • 新版复制功能:完整重同步:用于初次复制,和SYNC一样,让主服务器创建并发送RDB文件,向从服务器发送保存在缓冲区中的写命令。部分重同步(PSYNC):用于断线后重复制,重连后,主服务器将断开期间执行的写命令发送给从服务器。

  • 部分重同步功能由主从服务器的复制偏移量、主服务器的积压缓冲区和服务器的运行ID组成

    • 复制偏移量:主从服务器每次传播N个字节的数据,就把自己的复制偏移量加N
    • 复制积压缓冲区是由主服务器维护的一个固定长度的先进先出队列,默认大小为1MB,当从服务器断开重连时,从服务器通过PSYNC命令将自己的复制偏移量offset发送给主服务器,若offset之后的数据在积压缓冲区中,就进行部分重同步的操作,否则进行完整重同步。
    • 服务器运行ID:在启动时由40个随机的十六进制字符生成,断开重连时,从服务器将自己的运行ID发送给主服务器,若主从服务器的运行ID相同,则进行部分重同步操作,否则进行完整重同步操作。
  • 复制的实现:设置主服务器的地址和端口、建立套接字连接、发送ping命令、身份验证(可选)、发送端口信息、同步、命令传播。

  • 心跳检测:在命令传播阶段,从服务器会默认以每秒一次的频率向主服务器发送replconf ack < replication_offset>命令,作用是检测主从服务器的网络连接状态;辅助实现min-slaves-to-write和min-slaves-max-log选项;检测命令丢失,通过对比主从服务器的复制偏移量知道命令是否丢失。

  • 主从复制的特点:一个master 可以拥有多个slave;多个slave可以连接到同一个master,还可以连接到其它slave;主从复制不会阻塞master,在同步数据时,master还可以继续处理client请求;提高系统的伸缩性。

  • 哨兵是Redis高可用性的解决方案,由一个或多个sentinel实例组成的哨兵系统可以监视任意多个主服务器。

  • 启动哨兵后,会创建连向主服务器的网络连接,命令连接指专门用于向主服务器发送命令,并接受命令回复,而订阅连接指专门用于订阅主服务器的sentinel:hello频道

  • 获取服务器信息:和主数据库建立连接后,哨兵会定时执行操作:每10秒哨兵会向主数据库和从数据库发送info命令、每2秒哨兵会向主数据库和从数据库的sentinel:hello 频道发送自己的信息、每秒哨兵会向主数据库和从数据库和其他哨兵节点发送ping命令

  • 选举领头Sentinel:如果主数据库断开连接,则会选举领头的哨兵节点对主从系统发起故障恢复。选举过程使用raft 算法。选举规则:删除下线或中断的服务器,尽量选举从服务器优先级高的、复制偏移量大的、运行ID小的。

9.启动过程

  • 初始化服务器状态结构,由initServerConfig函数完成,设置服务器的运行ID、默认运行频率、默认文件配置路径、运行架构、默认端口号、默认RDB持久化条件和AOF持久化条件、初始化服务器的LRU时钟、创建命令表

  • 载入配置选项:指定配置参数或文件

  • 初始化服务器数据结构: 在第一步时initServerConfig函数只是创建了命令表,而服务器状态还包含其他数据结构,如server.clients链表,server.db数组,server.pubsub_channels字典,server.lua环境,server.log慢查询日志。该函数会为以上数据结构分配内存,之后,initServer函数负责初始化数据结构,为服务器设置进程信号处理器、创建共享对象、打开服务器的监听端口、为serverCron函数创建时间事件、若存在AOF文件,打开AOF文件,若没有,就创建一个新的AOF文件、初始化服务器的后台I/O模块(bio),到这就出现了“面包”图

  • 还原数据库状态:若服务器启用了AOF持久化功能,那么就用AOF文件还原数据库状态,否则使用RDB文件来还原数据库状态

  • 执行服务器的事件循环

10.集群

  • Redis集群是redis提供的分布式数据库方案,集群通过分片来进行数据共享,并提供复制和故障转移功能。由多个节点组成,通过握手(cluster meet命令)添加节点

  • Redis集群通过分片的方式保存数据库中的键值对,集群中的整个数据库被分为16384个槽(slot),每个节点可以处理0-16384个槽,当每个槽都有节点在处理时,集群就处于上线状态,命令cluster addslots < slot>可以将一个或多个槽指派给节点负责,slot属性是一个二进制数组,若slots[i]=1,表示节点负责处理槽i,若slots[i]=0,则表示节点不负责处理槽i

  • 节点保存键值的步骤 :先计算键属于哪个槽、判断槽是否由当前节点负责处理、若不是则返回moved错误(该错误被隐藏,但在单机模式下会打印错误),根据错误信息转向正确的节点,而节点数据库的实现只能使用0号库

  • 重新分片:将任意数量已经指派给某个节点(源节点)的槽改为指派给另一个节点(目标节点),并且相关槽所属的键值对也会从源节点被移动到目标节点。可在线操作。ASK错误是在节点迁移的过程中,被迁移槽的一部分键值对保存在源节点,而另一部分保存在目的节点。

  • 集群的消息有五种,消息由消息头和消息正文组成。

    • meet消息:表示接收到服务器发送的cluster meet命令
    • ping消息:对五个节点中最长时间没有发送过ping消息的节点发送ping消息,以检测是否在线
    • pong消息:接收到meet或ping消息
    • fail消息:当A节点判断B节点进入fail状态,A节点就会向集群广播一条关于节点B的fail消息
    • publish消息:当节点接收到publish命令时,向集群广播一条publish消息
  • 集群的优点,容错性:解决在单服redis的单点问题。扩展性:集群能够很好的实现缓存的性能升级,如多节点的热部署。性能提升 :在扩展过程中体现。

  • 发布与订阅:所有频道的订阅关系保存在服务器状态的pubsub_channel字典里,该字典的键是某个被订阅的频道,值是一个链表,记录了所有订阅这个链表的客户端。

  • 将消息发送给频道订阅者 :若客户端执行publish命令,那将在字典中查找该频道,并通过遍历链表将消息发送给该频道的所有订阅者。命令pubsub channels/numsub/numpat

11.Redis的6种数据淘汰策略

  • volatile-lru:利用LRU算法移除设置过过期时间的key。
  • volatile-random:随机移除设置过过期时间的key。
  • volatile-ttl:移除即将过期的key,根据最近过期时间来删除(辅以TTL)
  • allkeys-lru:利用LRU算法移除任何key。
  • allkeys-random:随机移除任何key。
  • noeviction:不移除任何key,只是返回一个写错误。

  • 监视器:执行monitor命令,客户端就可以将自己变成一个监视器,实时的接收并打印出服务器当前处理的命令请求的相关信息。服务器将所有的监视器都记录在monitors链表中。每次处理命令请求时,服务器都会遍历monitors链表,将相关信息发送给监视器。

  • 慢查询日志功能用于记录执行时间超过给定时长的命令请求。以先进先出的形式保存在slowlog链表,参数:slowlog-log-slower-than和slowlog-max-len,

12.redis的并发竞争问题?

  • 客户端:进行连接池化、读写加锁;服务端:使用setnx命令实现分布式锁。

  • 缓存穿透:访问不存在的对象,解决方法:缓存空对象或布隆过滤器

  • 缓存雪崩:缓存层不可用,导致存储层调用量暴增,甚至挂掉。解决方法:保证缓存层的高可用性、依赖隔离组件为后端限流并降级、

  • 缓存热点key重建优化,

    • 若有一个热点key,并发量巨大,不能再短时间重建缓存,在缓存失效的瞬间,大量线程重建缓存,造成后端负载过大,甚至让应用崩溃
    • 解决目标:减少重建缓存的次数、数据尽可能一致、较少的潜在危险、
    • 解决方法:互斥锁:只允许一个线程重建缓存,其他线程等待(setnx);永不过期:对key没有设置过期时间,为每个value设置一个逻辑过期时间,若超时,则使用单独的线程去构建缓存。
  • 配置文件:daemonize yes 后台运行;pidfile /var/redis-server.pid 进程文件;

  • Jedis的使用

    • 连接redis的IP和端口号 Jedis jedis = new Jedis(“127.0.0.1”,6379);
    • 执行事务:Transaction transaction=jedis.multi();



本人才疏学浅,若有错,请指出,谢谢!
如果你有更好的建议,可以留言我们一起讨论,共同进步!
衷心的感谢您能耐心的读完本篇博文!

猜你喜欢

转载自blog.csdn.net/baiye_xing/article/details/76718473