1.旧版(2.8版本之前)主从复制
- 从服务器向主服务器发送SYNC命令;
- 收到命令的主服务器执行BGSAVE命令,在后台生成RDB文件,并使用一个缓冲区记录从现在开始执行的所有写命令;
- 主服务器执行BGSAVE命令执行完毕时,主服务器会将生成的RDB文件发送给从服务器,从服务器接收并载入RDB文件,将状态更新到主服务器执行BGSAVE命令时到状态;
- 主服务器将所有缓冲区的所有写命令发送给从服务器,从服务器执行这些写命令,将状态更新到和主服务器一致
主从服务器的通信过程如下图
2.旧版主从复制的缺陷
断线后的重复制,当主从服务器由于网络等原因导致中断了复制,从服务器通过自动重连重新连上了主服务器,这时从服务器要全量同步主服务器,但这样会导致效率非常低
3.新版(2.8版本开始)主从复制
新版开始使用PSYNC命令代替SYNC命令来执行复制时低同步操作,PSYNC由完整重同步和部分重同步两种模式
- 完整重同步:这和SYNC命令执行的步骤基本一样,也是通过主服务器创建并发送RDB文件,以及向从服务器发送保存缓冲区的写命令来进行同步
- 部分重同步:当从服务器断线后重新连接主服务时,如果条件允许,主服务器可以将主从服务器断开期间执行的写命令发送给从服务器,从服务器执行这些写命令,最终保持和主服务器一致
新版主从服务器通信过程
4.新版部分重同步实现
- 主从服务器的复制偏移量
主从服务器分别维护一个复制偏移量,主服务器每次向从服务器传播N个字节的数据时,就会将复制偏移量加N,从服务器每次接收到主服务器的N个字节数据时,也将复制偏移量加N
- 主服务器的复制积压缓冲区
复制积压缓冲区是主服务器维护的固定长度先进先出的队列,主服务器将写命令发送给从服务器的同时,还会把写命令入队到复制积压缓冲区,当从服务器发送PSYNC命令将偏移量offset发送给主服务器时,主服务器判断offset之后的数据是否在复制积压缓冲区,如果在则执行部分重同步,如果不存在则执行完整重同步
- 服务器的运行ID
实现重同步还需要服务器的运行ID,主从服务器都有自己的运行ID,服务器启动的时候自动生成,当从服务器对主服务器初次复制时,主服务器会把运行ID发送给从服务器,从服务器会把该运行ID保存起来,当从服务器断线并重连时会根据该运行ID来确认其主服务器
5.主从复制的实现
- 设置主服务器的地址和端口
- 建立套接字连接
- 发送PING命令
- 身份验证
- 发送端口信息
- 同步
- 命令传播
6.注意事项
- 建议主服务器开启持久化功能,如果考虑性能问题主服务器不做持久化,那一定要配置主服务器不要自动重启;
- 尽量采用sentinel哨兵来做监控,sentinel可以监控服务器异常情况,也可做主从切换;
- 主服务器与从服务器来做读写分离,来缓解服务器的压力