Redis学习笔记(二) - 主从复制

概述

指将一台redis服务器上的数据,复制到其他redis服务器上,前者称为主服务器(master,后者称为从服务器(slave)。

  •  默认情况下主从关系为一对多关系。
  •  数据复制是单向的,只能从主服务器到从服务器。

作用

1、数据备份:是持久化之外的一种数据备份手段。

2、负载均衡:配合主从读写分离分担单点服务器负载压力,提高redis服务器并发量。

3、高可用基础:是哨兵和集群实施的基础。

开启主从复制

1、配置文件:从服务器配置中加入 slaveof <masterip> <masterport>

2、启动命令:从服务器启动命令 redis-server 后追加 --slaveof <masterip> <masterport>

3、直接使用命令:slaveof <masterip> <masterport>,则该redis实例变为从节点

命令 info replication 可查看复制相关状态。

关闭复制

从节点执行 slaveof no one ,则会断开与主节点复制关系。

其他配置

  •  安全性:

  安全性考虑,可以为主节点配置requirepass密码。从节点配置masterauth与主节点密码一致

  •  从节点只读性

  数据复制是单向的,为避免从节点写数据导致主从数据不一致,从节点设置为只读模式slave-read-only yes

  •  数据传输延迟

  repl-disable-tcp-nodelay no 默认关闭传输延迟关闭时,延迟小,但相对耗带宽,适用网络环境良好情况。开启时,主节点合并较小的数据包而节省带宽,但主从延迟增大,适用网络环境复杂带宽紧张情况。

主从复制流程

1、主从连接准备,包括socket连接,socket检查,身份校验等

2、数据同步,从节点发送复制命令psync,主节点接受命令执行bgsave,将RDB文件发送给从节点

3、命令传播,主节点将执行的写命令持续传播给从节点,保持数据一致

数据同步:

1、全量复制:

  •  主节点数据一次性全部发送给从节点。
  •  从节点发起命令 psync ? -1
  •  复制过程中,主节点会将新的写命令追加到复制缓冲区,待RDB文件传输完毕后,继续传输该缓冲区的写命令,最后从服务器执行这些写命令,保证主从数据一致。
  •  全量复制主节点需要进行RDB持久化,该过程比较耗cpu、内从、硬盘资源。
  •  主从传输RDB文件,耗宽带。
  •  从节点清空旧数据,载入新RDB的过程是阻塞的,此间无法响应客户端命令。

2、部分复制

  •  从服务器发起命令psync <runid 服务器运行ID> <offse 复制偏移量>
  •  一般用于处理在主从复制中因网络闪断等原因造成的数据丢失场景,当从节点再次连上主节点后,如果条件允许,主节点会补发丢失数据给从节点。因为补发的数据远远小于全量数据,可以有效避免全量复制的过高开销。

部分复制要素

1、服务器运行ID

  •  每台redis服务器在启动时都会随机生成一个ID作为标识,可通过info server查看run_id
  •  建立主从关系时,主节点会将自己的run_id发送给从节点,从节点保存该ID,在断线重连时从节点将该ID发送给主节点。
  •  主节点根据从节点发来的run_id判断复制方式,如果run_id与自己的run_id相同,说明之同步过,主节点会尝试用部分复制(具体能否部分复制还要看offset和复制积压缓冲区情况)。如果不同,说明之前没有同步过,这时只能进行全量复制。

2、复制偏移量

  •  主送双方分别保存自己的复制偏移量,主节点每发送/送节点接受N个字节,自己的偏移量加N。通过主从偏移量比较就可以确定双方数据是否一致。
  •  主节点发现从节点发来的offset与自身的不一致,会从自己的复制积压缓冲区查找是否有该偏移量之后的数据,若有就给从节点发送+CONTINUE表示可以进行部分复制。

3、复制积压缓冲区

  •  复制积压缓冲区是一个固定长度的FIFO(先进先出的存储器),当主从关系建立时被创建,之后主节点的响应命令时,额外会将命令写入该缓冲区。
  •  缓冲区大小repl-backlog-size可配置,正确的估算和配置该缓冲区大小,可避免主节点执行全量复制
  • repl-backlog-size = 服务断开重连时间 * 每秒写入数据量

命令传播

  • 该阶段主节点除了向从节点发送写命令,主从之间还维持心跳机制
  • 主节点向从节点发送ping命令,判断从节点连接状态,可配置发送频率 repl-ping-slave-period,默认每10秒   
  • 从节点每1秒向主节点发送 replconf ack{offset} 命令,发送自身偏移量,检查数据完整性,如果从节点丢数据,再从主节点复制积压缓冲区拉去糗事的数据。replconf ack命令还起到检测主从网络装态作用,主节点可通过 info replaction 命令查看延迟lag值,表示距离上次接受命令的时间间隔。
  • 主节点通过min-slaves-to-writemin-slaves-max-lag 保证主节点在不安全的情况下不执行写命令。如果从节点数量小于min-slaves-to-write,或所有从节点延迟指都大于min-slaves-max-lag,则主节点拒绝所有写命令
  • 配置repl-timeout,超时判断阈值,应明显大于repl-ping-slave-period否则很容易判断为超时

猜你喜欢

转载自www.cnblogs.com/caster-xzn/p/10374752.html