15.复制

在Redis中,用户可以通过SLAVEOF命令或者设置slaveof选项,让一个服务器去复制另一个服务器,称号被复制的服务器为主服务器,而对主服务器进行复制得服务器称为从服务器。

进行复制中的主从服务器双方的数据库将保存相同的数据,概念上这种现象称作“数据库状态一致”,或者简称“一致”。

旧版复制功能的实现

Redis的复制功能分为同步和命令传播两个操作:

1.同步操作用于将从服务器的数据库状态更新为主服务器当前所处的数据库状态。
2.命令传播操作则用于在主服务器的数据库状态被修改,导致主从服务器数据库状态不一致时,让主从服务器的数据库重新回到一致状态。

同步

从服务器对主服务器的同步操作是通过SYNC命令来完成的,以下是SYNC命令的执行步骤:

1.从服务器向主服务器发送SYNC命令。
2.主服务器收到SYNC命令,执行BGSAVE命令,在后台生成一个RDB文件,并使用以个缓冲区记录从现在开始执行的所有写命令。
3.当主服务器的BGSAVE命令执行结束后,主服务器会将BGSAVE命令生成的RDB文件发送给从服务器,从服务器接收并载入这个RDB文件,将自己的服务器状态更新至主服务器执行BGSAVE命令时的数据库状态。
4.主服务器将记录在缓冲区里面的所有写命令发送给从服务器,从服务器执行这些写命令,将自己的数据库状态更新至主服务器数据库当前所处的状态。
主从服务器在执行SYNC命令过程中的通信过程

命令传播

 同步操作执行完毕之后,主从服务器两者的数据库将达到一致状态,但这种一致并不是一成不变的,每当主服务器执行客户端发送的命令时,主服务器的数据库就有可能会被修改,导致主从服务器状态不再一致。
为了让主从服务器再次回到一致状态,主服务器需要对从服务器执行命令传播操作:主服务器会将自己执行的写命令,发送给从服务器执行,当从服务器执行了相同的写命令之后,主从服务器将再次回到一致状态。

旧功能复制功能的缺陷

在Redis中,从服务器对主服务器的复制可以分为以下两种情况:
1.初次复制:从服务器以前没有复制过任何主服务器,或者从服务器当前要复制的主服务器和上一次复制的主服务器不同。
2.断线后复制:处于命令传播阶段的主从服务器因为网络原因而中断了复制,但从服务器通过自动重新连接上了主服务器,并继续复制主服务器。
对于初次复制来说,旧版复制功能能够很好地完成任务,但是对断线后重复制来说,旧版复制功能虽然能让主从服务器恢复一致,但是效率非常低。

新版复制功能的实现

Redis从2.8版本开始,使用PSYNC命令代替SYNC命令来执行复制时的同步操作。
PSYNC命令具有完整重同步和部分重同步两种模式:
1.完整重同步用于处理初次复制情况:完整重同步的执行步骤和SYNC命令基本一样
2.部分重同步用于处理断线后复制情况:当从服务器在断线后重新连接上主服务器时,如果条件允许,从服务器只要接受并执行这些写命令,就可以将数据库更新至主服务器当前所处的状态。
对比SYNC命令和PSYNC命令处理断线重复制的方法,不难看出,虽然SYNC命令和PSYNC命令都可以让断线的主从服务器重写回到一致状态,但执行部分重同步所需的资源比起执行SYNC命令所需的资源要少得多,完成同步的速度也快的多。
主从服务器执行部分重同步的过程

部分重同步的实现

部分重同步功能由以下三个部分实现:
1.主服务器的复制偏移量和从服务器的复制偏移量
2.主服务器的复制积压缓冲区
3.服务器的运行ID

复制偏移量
主从服务器会分别维护一个复制偏移量:
1.主服务器每次向从服务器传播N个字节的数据时,就将自己的复制偏移量的值加上N
2.从服务器每次收到主服务器传播来的N个字节的数据时,就将自己的复制偏移量的值加上N
通过对比主从服务器的复制偏移量,程序可以很容易地知道主从服务器是否处于一致状态:
1.如果主从服务器处于一致状态,那么主从服务器两者的偏移量总是相同的。
2.相反,如果主从服务器两者的偏移量并不相同,那么说明主从服务器并未处于一致状态。

复制积压缓冲区
复制积压缓冲区是由主服务器维护一个固定长度先进先出的队列,默认大小为1MB。
当主服务器进行命令传播时,它不仅会将命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区。
因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中每个字节记录相遇的复制偏移量。
当从服务器重新连上主服务器时,从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行何种操作:
1.如果offset偏移量之后的数据仍然存在于复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作。
2.相反, 如果offset偏移量之后的数据已经不存在于复制积压缓冲区,那么主服务器将对从服务器执行完成重同步操作。

根据需要调整复制缓冲区大小
复制缓冲区最小大小可以根据公式second * write_size_per_second来估算:
1.其中second为从服务器断线后重新连接上主服务器所需的平均时(以秒计算)
2.而write_size_per_second则是主服务器平均每秒产生的写命令数据量(协议格式的写命令的长度总和)

服务器运行ID
每个Redis服务器,不论主服务器还是从服务器,都会有自己的运行ID。
运行ID在服务器启动时自动生成,由40个随机的十六进制字符组成。
当从服务器对主服务器进行初次复制时,主服务器会将自己的运行ID传送给从服务器,而从服务器则会将这个运行ID保存起来。
当从服务器短信并重新连接上一个主服务器时,从服务器将向 当前连接的主服务器发送之前保存的运行ID:
1.如果从服务器保存的运行ID和当前连接的主服务器运行ID相同,那么说明从服务器断线之前复制的就是当前连接的这个主服务器,主服务器可以继续尝试执行部分重同步操作
2.相反地,如果从服务器保存的运行ID和当前连接的主服务器的运行ID并不相同,那么说明从服务器短信之前复制的主服务器并不是当前连接的这个主服务器。主服务器对从服务器执行完整重同步操作。

PSYNC命令的实现
PSYNC命令的调用方法有两种:
1.如果从服务器以前没有复制过任何主服务器,或者之前执行过SLAVEOF no one命令,那么从服务器在开始一次新的复制时将向主服务器发送PSYNC ? -1命令,主动请求主服务器进行完整重同步。
2.如果从服务器以及复制过某个主服务器,那么从服务器在开始一次新的复制时将向主服务器发送PSYNC< runid >< offset >命令。
根据情况,接收到PSYNC命令的主服务器会向从服务器返回以下三种回复中的一种:
如果主服务器返回+FULLRESYNC < runid >< offset >,表示主服务器将与从服务器执行完整同步操作。
如果主服务器返回+CONTINUE恢复,表示主服务器将于从服务器执行部分同步操作,从服务器只要等着将自己缺少的那部分数据发送过来就可以了。
如果主服务器返回-ERR回复,表示主服务器的版本低于Redis2.8,它识别不了PSYNC命令,从服务器将向主服务器发送SYNC命令,并与主服务器执行完整同步操作。

复制的实现

复制命令:SLAVEOF < master_ip> < master_port>

复制功能详细实现步骤

1.设置主服务器的地址和端口

SLAVEOF命令是一个异步命令,在完成masterhost属性和masterport属性的设置工作之后,从服务器将向发送SLAVEOF命令的客户端返回OK,表示复制指令已经被接受,实际的复制工作将在OK返回后才真正执行。

2.建立套接字连接

在SLAVEOF命令执行之后,从服务器将根据命令的IP地址和端口,创建连向主服务器的套接字连接。
如果从服务器创建的套接字能成功连接到主服务器,那么从服务器将为这个套接字关联一个专门用于处理复制工作的文件事件处理器,这个处理器负责执行后续的复制操作。
而主服务器在接受从服务器的套接字连接之后,将该套接字创建相应的客户端状态,并将从服务器看作是一个连接到主服务器的客户端对待。

3.发送PING命令

发送PING命令的作用:
1.虽然主从服务器成功建立起了套接字连接,但双方并未使用该套接字进行过任何通信,通过发送PING命令可以检查套接字的读写状态是否正常。
2.因为复制工作接下来的几个步骤都必须在主服务器可以正常处理命令请求的状态下才能进行,通过发送PING命令可以检查主服务器能否正常处理命令请求。
从服务器发送PING命令之后将遇到一下三种情况中的一种:
1.如果主服务器向从服务器发送了一个命令回复,但从服务器却不能在时限内(timeout)内读取命令回复的内容,那么表示主从服务器之间的网络连接状态不佳,不能继续执行复制工作的后续步骤。出现这种情况时,从服务器断开并重新创建连向主服务器的套接字。
2.如果主服务器向从服务器返回一个错误,表示主服务器暂时没有办法处理从服务器的命令请求,不能继续执行复制工作的后续步骤。这种情况时,从服务器断开并重新创建连向主服务器 的套接字。
3.如果从服务器读取到“PONG”回复,表明主从服务器之间的网络连接状态正常,并且主服务器可以正常处理从服务器发送的命令请求,在这种情况下,从服务器可以继续执行复制工作的下一步。

4.身份验证

从服务器在接受到主服务器返回到PONG回复之后,决定是否进行身份验证:
1.如果从服务器设置了masterauth选项,那么进行身份验证
2.如果从服务器没有设置masterauth选项,不进行身份验证
如果需要进行身份验证,从服务器向主服务器发送AUTH命令,命令参数为从服务器masterauth选项的值。
从服务器在身份验证阶段可能遇到的情况有以下几种:
1.如果主服务器没有设置requirepass选项,且从服务器没有设置masterauth选项,不进行身份验证,主服务器继续执行从服务器发送的命令,复制工作继续进行。
2.如果从服务器通过AUTH命令发送的密码和主服务器requirepass选项所设置的密码相同,那么主服务器继续执行从服务器发来的命令,复制工作继续进行。反之主服务器将返回一个invalid password错误。
3.如果主服务器设置了requirepass选项,但从服务器却没有设置masterauth选项,那么主服务器将返回一个NOAUTH错误。如果主服务器没有设置requirepass, 但从服务器设置了masterauth选项,那么主服务器返回一个no password is set错误。
所有错误情况都会令服务器终止目前的复制工作,并从创建套接字开始重新执行复制,知道身份验证通过,或者从服务器放弃执行复制为止。
这里写图片描述

5.发送端口信息

在身份验证步骤之后,从服务器将执行命令REPLCONF listening-port < port number>, 向主服务器发送从服务器的监听端口号。

6.同步

值得一提的是,在同步操作执行之前,只有从服务器是主服务器的客户端,但是在执行同步之后,主服务器也会成为从服务器的客户端:
1.如果PSYNC命令执行的是完整同步操作,那么主服务器需要称为从服务器的客户端,才能将保存在缓冲区里的写命令发送给从服务器执行。
2.如果PSYNC命令执行的是部分重同步操作,那么主服务器需要称为从服务器的客户端,才能向从服务器发送保存在复制积压缓冲区里面的写命令。

7.命令传播

完成同步之后,主从服务器就会进入命令传播阶段,具体见上。

心跳检测

在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:REPLCONF ACK < replication_offset>
其中replication_offset是从服务器当前的复制偏移量。
发送REPLCONF ACK命令对于主服务器有三个作用:
1.检测主从服务器的网络连接状态。
2.辅助实现min-slaves选项。
3.检测命令丢失

检测主从服务器的网络连接状态

如果主服务器超过1s没有收到从服务器的REPLCONF ACK 命令,那么主服务器就知道主从服务器之间的连接出问题了。
通过向主服务器发送INFO replication命令,在列出的从服务器列表的lag栏中,可以看到相应的从服务器最后一次向主服务器发送REPLCONF ACK命令距离现在过了多少秒。在一般情况下,lag的值在0s或者1s之间跳动。

辅助实现min-slaves选项

Redis的两个选项min-slaves-to-write和min-slave-max-lag两个选项可以防止主服务器在不安全的情况下执行写命令。
例如:向主服务器提供以下设置:
min-slaves-to-write 3
min-slave-max-lag 10
那么在从服务器的数量少于3个,或者3个从服务器的延迟(lag)值都大于等于10s时,主服务器将拒绝执行写命令。

检测命令丢失

当从服务器向主服务器发送REPLCONF ACK命令时,主服务器将发觉从服务器复制偏移量少于自己的复制偏移量,然后主服务器就会根据从服务器提交的复制偏移量,在复制积压缓冲区里面找到从服务器缺少的数据,并将这些数据重新发送给从服务器。

猜你喜欢

转载自blog.csdn.net/xiaomimi1993/article/details/81335266