Redis のマスター/スレーブ同期原理

1. マスタースレーブ同期とは何ですか?

マスターとスレーブの同期とは、データの冗長バックアップを意味し、マスターデータベース (Master) が自身のデータベース内のデータをスレーブデータベース (Slave) に同期します。

図に示すように、1 つのスレーブライブラリまたは複数のスレーブライブラリが存在できます。

Redis のマスターとスレーブの同期

2. マスターとスレーブの同期はなぜ必要ですか?

Redis には RDB および AOF 永続化テクノロジが備わっていますが、サーバーの再起動時にメモリ内のデータが失われないようにできます (ただし、これはデータが失われないという意味ではなく、再起動時に使用できない状態が残ります)。

しかし、サーバーがシャットダウンして二度と起動しない場合 (ハードウェア障害など)、それはデータが完全に失われたことを意味します。ビジネスに大きな影響を与えることになります。

したがって、マスター/スレーブ同期の必要性は、データの可用性を高めることにあります。これにより、マシンに障害が発生した場合でも、フェイルオーバーに使用できる他のサーバーが確保されます。

問題は、複数のサーバーが同じデータを冗長的に共有するということですが、Redis はデータの一貫性をどのように確保するのでしょうか?

3. Redis はどのようにしてマスターとスレーブの同期を実現しますか?

簡単にまとめると次の2点です。

すべての変更はメインライブラリでのみ行われます。つまり、メインライブラリは読み取りと書き込みが可能ですが、スレーブライブラリは読み取りのみが可能で書き込みはできません。
書き込み操作はマスターデータベースからスレーブデータベースに同期されます (完全同期と増分同期)。

(1) 完全同期

Redis の完全同期

1. 接続ネゴシエーションと同期を確立する

1.1 クライアント redis-cli を使用してスレーブライブラリに接続し、 replicaof コマンドを実行して、メインライブラリの IP とポートを指定します。

1.2 スレーブライブラリが応答したら、メインライブラリの runid と レプリケーションオフセット offset を含む psync コマンドを実行します。

runid: 起動時にランダムな一意の ID を自動的に生成します。初めて同期するとき、メインライブラリの runid は不明なので、 ?;
offset: レプリケーションの進行状況を示します。最初の同期中の値はです -1。

1.3 マスターライブラリが psync コマンドを受信した後、 マスターライブラリの runid と レプリケーションオフセット offsetFULLRESYNCの 2 つのパラメーターも含まれるコマンドでスレーブライブラリに応答します。スレーブライブラリはこれら 2 つのパラメーターを記録します。

注:replicaof コマンドは、slaveof コマンドと同等です。Redis 5.0 より前では、slaveof コマンドが使用されていました。

2. RDB同期

2.1 メインライブラリが bgsave コマンドを実行しますが、このとき fork サブプロセスがRDBファイルを生成し、新しいコマンドがバッファに書き込まれます。

2.2 RDB ファイルをスレーブライブラリに送信します。

2.3 データベースからデータを削除した後、RDB ファイルをロードします。

注 1: データの一貫性を確保するために、bgsave メインライブラリは実行後、スレーブライブラリが RDB をロードするまでバッファに新しいコマンドを書き込み続けます。

注 2: bgsave は、RDB 生成を独立して担当するサブプロセスを作成します。RDB 生成のプロセス中、Redis メインライブラリはブロックされず、メインライブラリは通常どおりコマンドを処理できます。

3. コマンドの同期

3.1 RDB のロードが完了すると、スレーブライブラリはマスターライブラリに確認メッセージを返信し、マスターライブラリはバッファ書き込みコマンドをスレーブライブラリに送信します。

3.2 スレーブライブラリはマスタライブラリから書き込みコマンドを受け取り、それを実行してマスタとスレーブのデータを整合させます。

注: コマンドの実行後は、長時間の接続が維持され、マスターとスレーブのデータの一貫性を確保するために書き込み操作コマンドが常に同期されます。

このプロセスは、「長い接続に基づくコマンドの伝播」とも呼ばれます。

(2) インクリメンタル同期

コマンド伝播プロセス中に ネットワーク障害が発生して接続が切断された場合、その時点では新しい書き込みコマンドはスレーブライブラリに同期されません。

ネットワーク接続が切断され、ジッター後に回復した場合でも、この時点では TCP 接続が切断されているため、データは確実に再同期する必要があります。

Redis 2.8 より前では、スレーブデータベースはマスターデータベースとの完全な同期のみを再開でき、RDB ファイルが大きい場合、ネットワークの回復時間は長くなります。
Redis 2.8 以降、スレーブライブラリは増分同期をサポートしており、切断時に発生しなかった書き込みコマンドのみがスレーブライブラリに同期されます。

Redis の増分同期

詳細なプロセスは次のとおりです。

ネットワークが復元された後、スレーブライブラリはメインライブラリに psync コマンドを発行し、メインライブラリから以前に返された runid とコピーされたオフセット offset を伝えます。
メインライブラリはコマンドを受け取ると、runid と offset をチェックし、 CONTINUE 問題がなければコマンドに応答します。
マスターライブラリはネットワーク切断期間中に書き込みコマンドを送信し、スレーブライブラリはコマンドを受信して実行します。

実際、メインライブラリはコマンド伝達プロセス中に 2 つのことを行います。

書き込みコマンドをスレーブライブラリに送信します。
書き込みコマンドは、最近伝播された書き込みコマンドを保持するrepl_backlog_buffer レプリケーションバックログバッファーに書き込まれます。

コピーバックログバッファはリングバッファです。repl_backlog_buffer に加えて、メインライブラリにはレプリケーションポイント master_repl_offset もあります。

同様に、スレーブライブラリにもコピーポイントslave_repl_offsetがあります。

オフセットがライブラリの psync コマンドで指定されている場合、データは引き続き repl_backlog_buffer バッファーに保存されます。

master_repl_offset - size < smile_repl_offset、つまり、マスターライブラリの最小オフセットがスレーブライブラリのオフセットより小さく、データがまだリングバッファー内にあることを示します。

したがって、メインライブラリのバッファーが最新の書き込みコマンド (Redis プロトコル) を収容するのに十分な大きさである限り、ネットワークの中断後に増分同期を使用できます。

デフォルトの repl_backlog_buffer = 1M。書き込まれるデータの量が 1M/s など大きい場合、明らかに、コピーバックログバッファデータはネットワーク障害の 1 秒後に無効になるため、その値を増やす必要があります。

具体的なサイズは実際の状況に応じて決定する必要があります。Redis サーバーの起動にもある程度の時間がかかるため、10M 以上に設定することをお勧めします (おそらく 10 秒以内に中断される可能性があります)。