Redis の高可用性とクラスタリング
Redis は単一マシンのデータ永続性を実現できますが、RDB も AOF も
単一ポイント ダウンタイムの問題を解決できません。つまり、単一の Redis サーバー自体にシステム障害やハードウェア障害などが発生すると、直接データ損失が発生するためです
。単一点問題を解決するには、別のテクノロジーを使用する必要があります。
1. Redis マスター/スレーブ
Redisデータのクロスホストバックアップを実現できるアクティブ/スタンバイモード。端末は高可用性ロードの VIP に接続し、
ロード サーバーによって設定された Redis バックエンド実サーバーに接続します。このモードでは、プログラムで Redis サーバーの実 IP アドレスを設定する必要はありません。 Redis サーバーのアドレスは後で変更されるため、
変更する必要があるのは Redis サーバーのみであり、
対応するバックエンド実サーバーだけでプログラムの IP アドレス設定を変更する必要はありません。
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-lr6g1d3s-1693219416526)(png/Redis-Master-Slave.png)]
環境
| ザ・ホスト | IP | 役割 |
|---|---|---|
| redisサーバーノード1 | 192.168.131.148 | マスター |
| redis-node2 | 192.168.131.149 | スレーブ |
1.1 Redis マスター/スレーブ レプリケーションの主な構成
また、Redis スレーブは永続性を有効にし、マスターと同じ接続パスワードを設定する必要があります。これは、スレーブが
後でマスターに昇格する可能性があり、スレーブ側がマスター同期に切り替わった後に以前のデータがすべて失われるためです。
スレーブがマスターのスレーブになると
、Redis スレーブ サービスは現在の Redis サーバー上のすべてのデータをクリアし、マスターのデータを自身のメモリにインポートしますが、
同期関係を切断した後も現在同期されているデータ
1.1.1 コマンドラインによる設定
192.168.131.149:6379> REPLICAOF 192.168.131.148 6379
OK
192.168.131.149:6379> CONFIG SET masterauth stevenux
OK
(1.71s)
1.1.2 同期ログの表示
スレーブ
[root@redis-node2 ~]# tail -f /var/log/redis.log
7160:S 11 Feb 2020 11:35:55.542 * Connecting to MASTER 192.168.131.148:6379
7160:S 11 Feb 2020 11:35:55.542 * MASTER <-> REPLICA sync started
7160:S 11 Feb 2020 11:35:55.542 * Non blocking connect for SYNC fired the event.
7160:S 11 Feb 2020 11:35:55.543 * Master replied to PING, replication can continue...
7160:S 11 Feb 2020 11:35:55.544 * Partial resynchronization not possible (no cached master)
7160:S 11 Feb 2020 11:35:55.546 * Full resync from master: 0a3e5fcc5e891bc3bfae8c390529f1702f3d8068:546 # 首次连接全量复制
7160:S 11 Feb 2020 11:35:55.629 * MASTER <-> REPLICA sync: receiving 176 bytes from master
7160:S 11 Feb 2020 11:35:55.630 * MASTER <-> REPLICA sync: Flushing old data
7160:S 11 Feb 2020 11:35:55.630 * MASTER <-> REPLICA sync: Loading DB in memory
7160:S 11 Feb 2020 11:35:55.630 * MASTER <-> REPLICA sync: Finished with success
マスター
[root@redis-server-node1 ~]# tail -f /var/log/redis.log
2976:M 11 Feb 2020 11:32:03.391 * Synchronization with replica 192.168.131.149:6379 succeeded
2976:M 11 Feb 2020 11:32:04.541 # Connection with replica client id #86 lost.
2976:M 11 Feb 2020 11:35:55.546 * Replica 192.168.131.149:6379 asks for synchronization
2976:M 11 Feb 2020 11:35:55.546 * Full resync requested by replica 192.168.131.149:6379
2976:M 11 Feb 2020 11:35:55.546 * Starting BGSAVE for SYNC with target: disk
2976:M 11 Feb 2020 11:35:55.546 * Background saving started by pid 3185
3185:C 11 Feb 2020 11:35:55.549 * DB saved on disk
3185:C 11 Feb 2020 11:35:55.550 * RDB: 0 MB of memory used by copy-on-write
2976:M 11 Feb 2020 11:35:55.630 * Background saving terminated with success
2976:M 11 Feb 2020 11:35:55.630 * Synchronization with replica 192.168.131.149:6379 succeeded
1.1.3 マスター/スレーブステータスの表示
マスターステータス
[root@redis-server-node1 redis]# redis-cli -h 192.168.131.148
192.168.131.148:6379> info replication
NOAUTH Authentication required.
192.168.131.148:6379> AUTH stevenux
OK
192.168.131.148:6379> info replication
# Replication
role:master
connected_slaves:1 # 连接的从库数
slave0:ip=192.168.131.149,port=6379,state=online,offset=0,lag=3 # 从库的具体情况
master_replid:0a3e5fcc5e891bc3bfae8c390529f1702f3d8068 # 主库复制ID
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:154
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:154
スレーブ状態
192.168.131.149:6379> info replication
# Replication
role:slave
master_host:192.168.131.148
master_port:6379
master_link_status:up # 主库在线
master_last_io_seconds_ago:7
master_sync_in_progress:0
slave_repl_offset:560
slave_priority:100
slave_read_only:1 # 从库只读
connected_slaves:0
master_replid:0a3e5fcc5e891bc3bfae8c390529f1702f3d8068 # 主库复制ID
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:560
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:547
repl_backlog_histlen:14
1.1.4 変更された構成は永続的に有効になります
マスター
[root@redis-server-node1 ~]# vim /apps/redis/etc/redis.conf
################################## SECURITY ###################################
requirepass stevenux
...
スレーブ
[root@redis-node2 ~]# vim /apps/redis/etc/redis.conf
################################# REPLICATION #################################
replicaof 192.168.131.148 6379
masterauth stevenux
...
1.1.5 再起動してデータの整合性を確認する
マスター
192.168.131.148:6379> SET keyone lisuo
OK
192.168.131.148:6379> GET keyone
"lisuo"
192.168.131.148:6379> LPUSH menu apple banana
(integer) 2
192.168.131.148:6379> LPUSH menu pine
(integer) 3
192.168.131.148:6379> LRANGE menu 0 -1
1) "pine"
2) "banana"
3) "apple"
スレーブ
192.168.131.149:6379> KEYS *
1) "menu"
2) "keyone"
192.168.131.149:6379> LRANGE menu 0 -1
1) "pine"
2) "banana"
3) "apple"
192.168.131.149:6379> GET keyone
"lisuo"
スレーブは読み取り専用ですが書き込みはできません
192.168.131.149:6379> SET KEY0 V0
(error) READONLY You can't write against a read only replica.
1.1.6 マスターログ
データ変更後のマスターログ
[root@redis-server-node1 ~]# tail -f /var/log/redis.log
2976:M 11 Feb 2020 11:32:03.391 * Synchronization with replica 192.168.131.149:6379 succeeded
2976:M 11 Feb 2020 11:32:04.541 # Connection with replica client id #86 lost.
2976:M 11 Feb 2020 11:35:55.546 * Replica 192.168.131.149:6379 asks for synchronization
2976:M 11 Feb 2020 11:35:55.546 * Full resync requested by replica 192.168.131.149:6379
2976:M 11 Feb 2020 11:35:55.546 * Starting BGSAVE for SYNC with target: disk
2976:M 11 Feb 2020 11:35:55.546 * Background saving started by pid 3185
3185:C 11 Feb 2020 11:35:55.549 * DB saved on disk
3185:C 11 Feb 2020 11:35:55.550 * RDB: 0 MB of memory used by copy-on-write
2976:M 11 Feb 2020 11:35:55.630 * Background saving terminated with success
2976:M 11 Feb 2020 11:35:55.630 * Synchronization with replica 192.168.131.149:6379 succeeded
2976:M 11 Feb 2020 11:45:29.674 * Background saving started by pid 3344
3344:C 11 Feb 2020 11:45:29.675 * DB saved on disk
3344:C 11 Feb 2020 11:45:29.675 * RDB: 0 MB of memory used by copy-on-write
2976:M 11 Feb 2020 11:45:29.706 * Background saving terminated with success
2976:M 11 Feb 2020 12:00:30.031 * 1 changes in 900 seconds. Saving... # 数据变动(有业务活动)
2976:M 11 Feb 2020 12:00:30.031 * Background saving started by pid 3490
3490:C 11 Feb 2020 12:00:30.032 * DB saved on disk # (RDB保存完成)
3490:C 11 Feb 2020 12:00:30.032 * RDB: 0 MB of memory used by copy-on-write
2976:M 11 Feb 2020 12:00:30.132 * Background saving terminated with success
データ変更後のスレーブの同期ログ
[root@redis-node2 ~]# tail -f /var/log/redis.log
7160:S 11 Feb 2020 11:35:55.542 * Connecting to MASTER 192.168.131.148:6379
7160:S 11 Feb 2020 11:35:55.542 * MASTER <-> REPLICA sync started
7160:S 11 Feb 2020 11:35:55.542 * Non blocking connect for SYNC fired the event.
7160:S 11 Feb 2020 11:35:55.543 * Master replied to PING, replication can continue...
7160:S 11 Feb 2020 11:35:55.544 * Partial resynchronization not possible (no cached master)
7160:S 11 Feb 2020 11:35:55.546 * Full resync from master: 0a3e5fcc5e891bc3bfae8c390529f1702f3d8068:546 # 首次连接全量复制开始
7160:S 11 Feb 2020 11:35:55.629 * MASTER <-> REPLICA sync: receiving 176 bytes from master
7160:S 11 Feb 2020 11:35:55.630 * MASTER <-> REPLICA sync: Flushing old data
7160:S 11 Feb 2020 11:35:55.630 * MASTER <-> REPLICA sync: Loading DB in memory
7160:S 11 Feb 2020 11:35:55.630 * MASTER <-> REPLICA sync: Finished with success # 全量复制结束
7160:S 11 Feb 2020 11:50:56.009 * 1 changes in 900 seconds. Saving...
7160:S 11 Feb 2020 11:50:56.010 * Background saving started by pid 7194
7194:C 11 Feb 2020 11:50:56.010 * DB saved on disk
7194:C 11 Feb 2020 11:50:56.011 * RDB: 0 MB of memory used by copy-on-write
7160:S 11 Feb 2020 11:50:56.110 * Background saving terminated with success
7160:S 11 Feb 2020 12:05:57.044 * 1 changes in 900 seconds. Saving... # 主从同步后数据化变动
7160:S 11 Feb 2020 12:05:57.045 * Background saving started by pid 7256
7256:C 11 Feb 2020 12:05:57.045 * DB saved on disk # RDB文件保存到吸盘
7256:C 11 Feb 2020 12:05:57.046 * RDB: 0 MB of memory used by copy-on-write
7160:S 11 Feb 2020 12:05:57.146 * Background saving terminated with success
1.1.7 マスター/スレーブ レプリケーション プロセス
Redis は、完全同期と増分同期に分けられるマスター/スレーブ レプリケーションをサポートしています。最初の同期は完全同期です。マスター/スレーブ同期により、スレーブ サーバーはマスター サーバーからデータをバックアップできます。また、スレーブ サーバーは、マスター サーバーからのデータをバックアップできます
。スレーブ サーバー、つまり別の redis
サーバーはデータ同期がスレーブ サーバーから実行されます。redis のマスター/スレーブ同期はノンブロッキングです。マスターがサーバーから sync (バージョン 2.8 より前の
PSYNC) コマンドを受信すると、マスターは子プロセスをフォークして
バックグラウンドで BGSAVE コマンドを実行し、新しく書き込まれたデータを書き込みます データはバッファに書き込まれ、bgsave が実行された後、
生成された RDB ファイルがクライアントに送信され、クライアントは受信した RDB ファイルをロードしますその後、
redis マスターはバッファーの内容をすべて redis スレーブに送信し、同期スレーブ サーバーは
オフセット位置 (MySQL のバイナリ ログの位置に相当) をマスター サーバーに送信します。マスター
サーバーが、この位置以降のデータが Redis スレーブ
サーバーに送信され、スレーブサーバーは Redis スレーブサーバーから送信されたスクイーズデータを書き込みます。これにより完全なデータ同期が完了し、
スレーブ サーバーは再度同期するときに現在のオフセット位置をマスター サーバーに送信するだけで済み、マスター サーバーは
次のデータに従ってスレーブ サーバーにデータを送信します。対応する位置を検出し、メモリに保存します。
Redis の完全レプリケーションは通常、スレーブの最初の初期化段階で行われ、この時点でスレーブはマスター上の
すべてのデータをコピーする必要があります。具体的なマスター/スレーブの手順は次のとおりです。
- スレーブ サーバーはマスター サーバーに接続し、SYNC コマンドを送信します。
- マスターサーバーはSYNC名を受信すると、BGSAVEコマンドの実行を開始してRDBスナップショットファイルを生成し、バッファを使用して
それ以降に実行されたすべての書き込みコマンドを記録します。 - マスター サーバー BGSAVE が実行されると、スナップショット ファイルがすべてのスレーブ サーバーに送信され、送信中に
実行された書き込みコマンドが記録され続けます。 - サーバーからスナップショット ファイルを受信した後、古いデータをすべて破棄し、受信したスナップショットをロードします。
- マスターサーバーのスナップショットが送信されると、バッファ内の書き込みコマンドがスレーブサーバーに送信され始めます。
- スレーブ サーバーはスナップショットのロードを完了し、コマンド リクエストの受信を開始し、マスター サーバーのバッファから書き込みコマンドを実行します。
- その後の同期では、最初に独自のslave_repl_offset位置が送信され、新しく追加されたデータのみが同期され、完全な同期は実行されません。
以下のように、オレンジの枠で完全な同期プロセス、緑の枠で部分的な同期プロセスを示します
。Slave-sync-process.png)]
1.1.8 マスター/スレーブ同期の最適化された構成
Redis バージョン 2.8 より前では、増分部分レプリケーションの機能は提供されていませんでしたが、ネットワークが中断されたり、スレーブ Redis が再起動されたりすると、マスターとスレーブの間で完全な同期が発生します。つまり、部分
レプリケーションの機能が追加されました。バージョン2.8。
repl-diskless-sync no
# 是否使用无盘同步RDB文件，默认为no，no为不使用无盘，需要将RDB文件保存到磁盘后
# 再发送给slave，yes为支持无盘，支持无盘就是RDB文件不需要保存至本地磁盘，而且直
# 接通过socket文件发送给slave。
repl-diskless-sync-delay 5
# Master准备好RDB文件后等等待传输时间
repl-ping-slave-period 10
# slave端向server端发送ping的时间区间设置，默认为10秒
repl-timeout 60
# 设置复制超时时间
repl-disable-tcp-nodelay no
# 是否启用TCP_NODELAY，如设置成yes，则redis会合并小的TCP包从而节省带宽，但会增加
# 同步延迟（40ms），造成master与slave数据不一致，假如设置成no，则redis master会
# 立即发送同步数据，没有延迟，前者关注性能，后者关注redis服务中的数据一致性。
repl-backlog-size 1mb
# master的写入数据缓冲区，用于记录自上一次同步后到下一次同步过程中间的写入命令，
# 计算公式：repl-backlog-size = 允许从节点最大中断时长 * 主实例offset每秒写入量
# 比如master每秒最大写入64mb，最大允许60秒，那么就要设置为64mb*60秒=3840MB(3.8G)
repl-backlog-ttl 3600
# 如果一段时间后没有slave连接到master，则backlog size的内存将会被释放。如果值
# 为0则表示永远不释放这部份内存。 slave-priority 100 #slave端的优先级设置，值是
# 一个整数，数字越小表示优先级越高。当master故障时将会按照优先级来选择slave端进行
# 恢复，如果值设置为0，则表示该slave永远不会被选择。
#min-slaves-to-write 1
# 设置一个master端的可用slave至少多少
#min-slaves-max-lag 20
# 设置所有slave延迟时间都大于多少秒时，master不接收写操作(拒绝写入)。
1.1.9 スレーブからマスターへの切り替え
マスターの切り替えにより master_replid が変更され、スレーブの前の master_replid が
現在のマスターと一致しないため、すべてのスレーブの完全な同期がトリガーされます。スレーブからマスターに切り替えるのは非常に簡単で、
実行するだけですSLAVEOF no one。
現在のスレーブの状況を表示します。
192.168.131.149:6379> info replication
# Replication
role:slave
master_host:192.168.131.148
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
...
スレーブの同期を停止し、ステータスを確認します。
192.168.131.149:6379> SLAVEOF no one
OK
192.168.131.149:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:bfc98f9b16833d6c7c9638c34ef4a9be4ccc7999
master_replid2:0a3e5fcc5e891bc3bfae8c390529f1702f3d8068
master_repl_offset:13231
second_repl_offset:13232
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:547
repl_backlog_histlen:12685
現時点でデータを書き込めるかどうかをテストします。
192.168.131.149:6379> set keytest hello
OK
192.168.131.149:6379> get keytest
"hello"
接続が失われた後のマスターログ
...
2976:M 11 Feb 2020 14:04:51.220 # Connection with replica 192.168.131.149:6379 lost
接続が失われた後のスレーブのログ
...
7160:M 11 Feb 2020 14:04:51.202 # Connection with master lost.
7160:M 11 Feb 2020 14:04:51.202 * Caching the disconnected master state.
7160:M 11 Feb 2020 14:04:51.202 * Discarding previously cached master state.
7160:M 11 Feb 2020 14:04:51.202 * MASTER MODE enabled (user request from 'id=23 addr=192.168.131.149:33746 fd=8 name= age=5 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=34 qbuf-free=32734 obl=0 oll=0 omem=0 events=r cmd=slaveof')
7160:M 11 Feb 2020 14:05:48.724 * 1 changes in 900 seconds. Saving...
7160:M 11 Feb 2020 14:05:48.724 * Background saving started by pid 7514
7514:C 11 Feb 2020 14:05:48.728 * DB saved on disk
7514:C 11 Feb 2020 14:05:48.728 * RDB: 0 MB of memory used by copy-on-write
7160:M 11 Feb 2020 14:05:48.825 * Background saving terminated with success
1.2 トラブルシューティング
1.2.1 スレーブ側でマスター認証パスワードが正しく設定されていない
マスターパスワードは stevenux、123456 に設定してください:
192.168.131.149:6379> REPLICAOF 192.168.131.148 6379
OK
192.168.131.149:6379> CONFIG SET masterauth 123456
OK
192.168.131.149:6379> info replication
# Replication
role:slave
master_host:192.168.131.148
master_port:6379
master_link_status:down # 显示master未连接
master_last_io_seconds_ago:-1
master_sync_in_progress:0
...
奴隷のログ
...
7160:S 11 Feb 2020 14:12:09.761 * Connecting to MASTER 192.168.131.148:6379
7160:S 11 Feb 2020 14:12:09.761 * MASTER <-> REPLICA sync started
7160:S 11 Feb 2020 14:12:09.763 * Non blocking connect for SYNC fired the event.
7160:S 11 Feb 2020 14:12:09.763 * Master replied to PING, replication can continue...
7160:S 11 Feb 2020 14:12:09.764 # Unable to AUTH to MASTER: -ERR invalid password
1.2.2 一貫性のない Redis バージョン
Redis マスターはバージョン 5.0.7 を使用し、Redis スレーブはバージョン 3.2.12 を使用します
。02-11-14-35-04.png)]
スレーブ ログは、DRB 形式に互換性がないことを示します
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-g0DIl0I2-1693219416530) ( png/2020-02-11-14-34-24.png)]
1.2.3 リモート接続できない
セキュリティモードがオンの場合、バインドアドレスまたはパスワードは設定されません。
protected-mode yes # 该选项开启安全模式
bind 0.0.0.0 # 表示可以从任意地址连接redis
requirepass www.suosuoli.cn # 设置密码
2. Redis クラスター
Redis のマスター/スレーブ アーキテクチャでは、マスターとスレーブの役割を自動的に切り替えることができません。つまり、マスターで Redis サービスの
例外、ホストの停電、ディスクの損傷などが発生した場合、マスターは使用できず、Redis の高可用性は自己実現できません。・転送失敗
(スレーブからマスターへの昇格)の場合、スレーブRedisサーバーに切り替えるために手動で環境構成を変更する必要があります また、Redisサービス
の並列書き込み性能を横方向に拡張することはできません 単体Redisサーバーの性能の場合ビジネス文書の要件を満たせない場合は、
解決する必要があります。2 つの中心的な問題です。今すぐ：
- マスターとスレーブの役割をシームレスに切り替えるため、ビジネスは意識せず、ビジネス利用に影響を与えません。
- Redis サーバーは動的に水平方向に拡張できるため、複数のサーバーが並行して書き込みを行い、より高い同時実行性を実現できます。
-
Redis クラスターを実装するにはさまざまな方法があります
- クライアントの断片化
- プロキシシャーディング
- Redis クラスター
2.1 Sentinel-Redis Sentinel メカニズム
Sentinel プロセスは、Redis クラスター内のマスター マスター サーバーの動作ステータスを監視するために使用されます。マスター マスター サーバーに障害が発生した場合、マスター サーバーとスレーブ サーバーを切り替えてシステム
の高可用性を確保します。
redis2.6+バージョン中期。
Redis のセンチネル メカニズムはバージョン 2.8 以降安定しました。
通常、運用環境では Redis バージョン 2.8 以降を使用することをお勧めします。
Sentinel は、アーキテクチャ内で複数の Sentinel プロセスを実行できる分散システムです。これらの
プロセスは、ゴシップ プロトコルを使用してマスター サーバーがオフラインかどうかに関する情報を受信し、投票
プロトコル (合意プロトコル) を使用して、自動フェイルオーバーを実行するかどうかとどのスレーブを実行するかを決定します。新しい
マスターに選ばれます。各センチネル (Sentinel) プロセスは、他のセンチネル (センチネル)、マスター、スレーブに定期的に
メッセージ相手が「生きている」かどうかを確認します。指定された設定時間内に相手が応答を受信していないことが判明した場合、 (設定可能), その後、一時的に
相手がオフラインであると考える、いわゆる「主観ダウン」です。主観とは、
各メンバーが持つ固有の意識であり、同じ場合もあれば、異なる場合もあります。英語名: Subjective Down と呼ばれます。スダウンとして。主観的なダウンタイムがある場合は、客観的なダウンタイムも存在する必要があります
。「センチネルグループ」内のほとんどのSentinelプロセスがMasterメインサーバー上でSDOWN判定を行い、
SENTINEL is-master-down-by-addrコマンドで相互に通信すると、結果としてMasterサーバーはオフライン判定となります
。 ※「客観的にダウン」※* 現実に存在するあらゆるものを、ある意識に依存せずに客観的に指し、英語名は「
Objectively Down」、略してODOWN。特定の投票アルゴリズムを通じて、残りのスレーブ サーバー ノードの 1 つが
マスター サーバー ノードに昇格するように選択され、関連する構成が自動的に変更され、フェイルオーバーが有効になります。
Sentinel メカニズムは、マスターとスレーブの役割の切り替えの問題を解決できます。
2.1.1 マスター/スレーブ レプリケーションを手動で構成する
環境
| ザ・ホスト | IP | 役割 |
|---|---|---|
| redisサーバーノード1 | 192.168.131.148 | マスター |
| redis-node2 | 192.168.131.149 | スレーブ |
| redis-node3 | 192.168.131.150 | スレーブ |
新しいスレーブの追加: 192.168.131.150 構成
192.168.131.150:6379> REPLICAOF 192.168.131.148 6379
OK
192.168.131.150:6379> CONFIG SET masterauth stevenux
OK
(2.27s)
増加後のマスターの状態
192.168.131.148:6379> auth stevenux
OK
192.168.131.148:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.131.149,port=6379,state=online,offset=13427,lag=1
slave1:ip=192.168.131.150,port=6379,state=online,offset=0,lag=0
master_replid:85f9d986a9f7e06d5bf273d8b1004d517e20a7ea
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:13427
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:13232
repl_backlog_histlen:196
新しく追加されたスレーブ データの同期を表示する
[root@redis-node3 ~]# redis-cli -h 192.168.131.150
192.168.131.150:6379> KEYS *
1) "key3"
2) "keyone"
3) "zset1"
4) "menu"
5) "set1"
# 同步正常
2.1.1.1 フェイルオーバー中の Redis へのプログラム接続
さまざまな Redis クライアントの公式ドキュメント
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-2O6QOYEG-19416532)(png/2020-02-11) -16-22- 44.png)]
Java クライアントは、Jedis を介して Redis に接続します。Java コードを使用する場合、Jedis オブジェクトを作成する限り、
Redis に接続するための複数の Jedis 接続プールを構築でき、アプリケーションは接続プールを直接呼び出して Redis に接続できます。
高可用性を確保するために、Redis サービスは通常 Sentinel モードでデプロイされ、Redis サービスのメイン サービスが
ダウンすると、別のスレーブ サービスがマスターとして機能するように調停されます。現時点では、アプリケーションが
Jedis 接続プールを使用しており、マスター サービスがダウンしている場合でも、アプリケーションは新しいマスター サービスに接続できません。
この問題を解決するために、Jedis は対応する Sentinel 実装も提供しています。 Redis Sentinel のマスター/スレーブで使用できます。切り替え時に、
アプリケーションに通知し、アプリケーションを新しいマスター サービスに接続します。
Redis Sentinel の使用は、プログラムを使用して Redis に接続する場合も非常に簡単です. JedisPool に
Sentinel パラメーターと MasterName パラメーターを追加するだけです. JRedis Sentinel の最下層
は、Redis サブスクリプションに基づいて Redis マスター/スレーブ サービスの切り替え通知を実現します。 Reid のマスター/スレーブの切り替えが発生すると、Sentinel
に接続を切り替えるように Jedis に積極的に通知する通知が送信されます。JedisSentinelPool は、
接続プールから接続オブジェクトを取得するたびに接続オブジェクトを検出します。このリンクと Sentinel のマスターの接続パラメータが一致する場合、サービスに一貫性がない場合、
接続は閉じられます。新しい Jedis 接続オブジェクトを再取得します。
2.1.2 Sentinel設定ファイルの編集
Sentinel は Redis サーバーとは別にデプロイでき、実際の使用では通常同じホスト上に構成されます。
マスター:192.168.131.148
スレーブ:192.168.131.149
スレーブ:192.168.131.150
2.1.3 セントリーの開始
マスター:192.168.131.148
[root@redis-server-node1 ~]# /apps/redis/bin/redis-sentinel /apps/redis/etc/sentinel.conf
[root@redis-server-node1 ~]# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 127.0.0.1:9000 *:*
LISTEN 0 50 *:3306 *:*
LISTEN 0 511 *:26379 *:*
LISTEN 0 511 *:6379 *:*
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 [::1]:25 [::]:*
LISTEN 0 128 [::]:111 [::]:*
LISTEN 0 128 [::]:22 [::]:*
スレーブ:192.168.131.149
[root@redis-node2 etc]# /apps/redis/bin/redis-sentinel /apps/redis/etc/sentinel.conf
[root@redis-node2 etc]# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 511 192.168.131.149:26379 *:*
LISTEN 0 511 *:6379 *:*
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:80 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 [::1]:25 [::]:*
LISTEN 0 128 [::]:111 [::]:*
LISTEN 0 128 [::]:22 [::]:*
スレーブ:192.168.131.150
[root@redis-node3 etc]# /apps/redis/bin/redis-sentinel /apps/redis/etc/sentinel.conf
[root@redis-node3 etc]# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 511 192.168.131.150:26379 *:*
LISTEN 0 511 *:6379 *:*
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:80 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 [::1]:25 [::]:*
LISTEN 0 128 [::]:111 [::]:*
LISTEN 0 128 [::]:80 [::]:*
LISTEN 0 128 [::]:22 [::]:*
Sentinel サービスのログ
[root@redis-server-node1 ~]# tail -f /apps/redis/logs/sentinel_26379.log
6752:X 11 Feb 2020 16:38:37.989 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=6752, just started
6752:X 11 Feb 2020 16:38:37.989 # Configuration loaded
6753:X 11 Feb 2020 16:38:37.990 * Increased maximum number of open files to 10032 (it was originally set to 1024).
6753:X 11 Feb 2020 16:38:37.991 * Running mode=sentinel, port=26379.
6753:X 11 Feb 2020 16:38:37.991 # Sentinel ID is e67caf2137b93d25c9b3ae98f4da1b37722c33ae
6753:X 11 Feb 2020 16:38:37.992 # +monitor master mymaster 192.168.131.148 6379 quorum 2
6753:X 11 Feb 2020 16:38:37.992 * +slave slave 192.168.131.149:6379 192.168.131.149 6379 @ mymaster 192.168.131.148 6379
6753:X 11 Feb 2020 16:38:37.993 * +slave slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6753:X 11 Feb 2020 16:38:48.759 * +sentinel sentinel e6a6c4e2aeac5e259d2fab347e14ebe8c260b875 192.168.131.149 26379 @ mymaster 192.168.131.148 6379
6753:X 11 Feb 2020 16:38:57.607 * +sentinel sentinel d1322d808ebd2abd6e65fad6f53599aa4eb11ddc 192.168.131.150 26379 @ mymaster 192.168.131.148 6379
2.1.4 Redis マスターを停止してフェイルオーバーをテストする
Redis マスターステータスの表示
192.168.131.148:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.131.149,port=6379,state=online,offset=91470,lag=1
slave1:ip=192.168.131.150,port=6379,state=online,offset=91470,lag=1
master_replid:85f9d986a9f7e06d5bf273d8b1004d517e20a7ea
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:91615
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:13232
repl_backlog_histlen:78384
現在のセンチネルの状態
センチネルのステータス、特に最後の行には、マスター IP の数、スレーブの数、
センチネルの数が含まれており、すべてのサーバーの数と一致している必要があります。
[root@redis-server-node1 ~]# redis-cli -h 192.168.131.148 -p 26379
192.168.131.148:26379> info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.131.148:6379,slaves=2,sentinels=3
# 最后一行指明masterIP和Slave个数及Sentinel个数
ストップマスター
[root@redis-server-node1 ~]# systemctl stop redis
[root@redis-server-node1 ~]# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 127.0.0.1:9000 *:*
LISTEN 0 50 *:3306 *:*
LISTEN 0 511 *:26379 *:*
2.1.5 フェイルオーバー時の Sentinel ログ分析
単一サーバーで、マスターを停止した後、redis-node3 (192.168.131.150) を新しいマスターとして選択します。
6011:X 11 Feb 2020 16:38:55.553 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
6011:X 11 Feb 2020 16:38:55.553 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=6011, just started
6011:X 11 Feb 2020 16:38:55.553 # Configuration loaded
6012:X 11 Feb 2020 16:38:55.555 * Increased maximum number of open files to 10032 (it was originally set to 1024).
6012:X 11 Feb 2020 16:38:55.555 * Running mode=sentinel, port=26379.
########################################## 当前Redis哨兵的运行ID
6012:X 11 Feb 2020 16:38:55.556 # Sentinel ID is d1322d808ebd2abd6e65fad6f53599aa4eb11ddc
########################################## 当前使用仲裁成员是2个
6012:X 11 Feb 2020 16:38:55.557 # +monitor master mymaster 192.168.131.148 6379 quorum 2
6012:X 11 Feb 2020 16:38:55.558 * +slave slave 192.168.131.149:6379 192.168.131.149 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 16:38:55.559 * +slave slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 16:38:56.384 * +sentinel sentinel e67caf2137b93d25c9b3ae98f4da1b37722c33ae 192.168.131.148 26379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 16:38:56.891 * +sentinel sentinel e6a6c4e2aeac5e259d2fab347e14ebe8c260b875 192.168.131.149 26379 @ mymaster 192.168.131.148 6379
########################################## 主观认为宕机
6012:X 11 Feb 2020 17:12:59.241 # +sdown master mymaster 192.168.131.148 6379
########################################## 仲裁后确认为宕机
6012:X 11 Feb 2020 17:12:59.305 # +odown master mymaster 192.168.131.148 6379 #quorum 2/2
6012:X 11 Feb 2020 17:12:59.305 # +new-epoch 1
########################################## 尝试故障转移
6012:X 11 Feb 2020 17:12:59.305 # +try-failover master mymaster 192.168.131.148 6379
########################################## 投票选取Master
6012:X 11 Feb 2020 17:12:59.308 # +vote-for-leader d1322d808ebd2abd6e65fad6f53599aa4eb11ddc 1
6012:X 11 Feb 2020 17:12:59.310 # e67caf2137b93d25c9b3ae98f4da1b37722c33ae voted for d1322d808ebd2abd6e65fad6f53599aa4eb11ddc 1
6012:X 11 Feb 2020 17:12:59.310 # e6a6c4e2aeac5e259d2fab347e14ebe8c260b875 voted for d1322d808ebd2abd6e65fad6f53599aa4eb11ddc 1
6012:X 11 Feb 2020 17:12:59.385 # +elected-leader master mymaster 192.168.131.148 6379
########################################## 故障转移主机为192.168.131.148
6012:X 11 Feb 2020 17:12:59.385 # +failover-state-select-slave master mymaster 192.168.131.148 6379
########################################## 故障转移目标为192.168.131.150
6012:X 11 Feb 2020 17:12:59.476 # +selected-slave slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:12:59.476 * +failover-state-send-slaveof-noone slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:12:59.532 * +failover-state-wait-promotion slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:13:00.279 # +promoted-slave slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:13:00.279 # +failover-state-reconf-slaves master mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:13:00.350 * +slave-reconf-sent slave 192.168.131.149:6379 192.168.131.149 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:13:01.377 * +slave-reconf-inprog slave 192.168.131.149:6379 192.168.131.149 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:13:01.449 # -odown master mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:16:00.291 # +failover-end-for-timeout master mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:16:00.291 # +failover-end master mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:16:00.291 * +slave-reconf-sent-be slave 192.168.131.150:6379 192.168.131.150 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:16:00.291 * +slave-reconf-sent-be slave 192.168.131.149:6379 192.168.131.149 6379 @ mymaster 192.168.131.148 6379
6012:X 11 Feb 2020 17:16:00.291 # +switch-master mymaster 192.168.131.148 6379 192.168.131.150 6379
6012:X 11 Feb 2020 17:16:00.291 * +slave slave 192.168.131.149:6379 192.168.131.149 6379 @ mymaster 192.168.131.150 6379
6012:X 11 Feb 2020 17:16:00.291 * +slave slave 192.168.131.148:6379 192.168.131.148 6379 @ mymaster 192.168.131.150 6379
6012:X 11 Feb 2020 17:16:30.315 # +sdown slave 192.168.131.148:6379 192.168.131.148 6379 @ mymaster 192.168.131.150 6379
2.1.6 フェイルオーバー後に構成ファイルが変更される
redis.conf 内の行のマスター IP はフェイルオーバー後にreplicaof IP PORT変更され、
sentinel.conf 内の もsentinel monitor IP変更されます。
redis-node2–Slave:192.168.131.149 元の IP は
redis-server-node1–Master:192.168.131.148を指します。
フェイルオーバー後は、新しく選出されたマスターである 192.168.131.150 になるはずです。
[root@redis-node2 etc]# vim /apps/redis/etc/redis.conf
################################# REPLICATION #################################
replicaof 192.168.131.150 6379
...
[root@redis-node2 etc]# vim /apps/redis/etc/sentinel.conf
# Default is 30 seconds.
sentinel monitor mymaster 192.168.131.150 6379 2
...
元のマスターの構成ファイルを変更し、そのマスターが新しいマスターを指すようにします: 192.168.131.150
新しいマスターのレプリケーション ステータス:
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.131.148,port=6379,state=online,offset=897322,lag=0
slave1:ip=192.168.131.149,port=6379,state=online,offset=897322,lag=1
master_replid:f7f6ecbb5964ee44160654fbf82fedac3303ba67
master_replid2:85f9d986a9f7e06d5bf273d8b1004d517e20a7ea
master_repl_offset:897322
second_repl_offset:449770
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:13722
repl_backlog_histlen:883601
2.2 Redis クラスター
初期の Redis 分散クラスター展開スキーム:
- クライアントがシャーディングを要求します。クライアント プログラムはキーの書き込み割り当てと書き込み Redis ノードを決定しますが、クライアントは
書き込み割り当て、高可用性管理、フェイルオーバーなどを処理する必要があります。 - プロキシ スキーム: Redis プロキシは、サードパーティ ソフトウェアに基づいて実装されます。クライアントは最初にプロキシ層に接続し、プロキシ層は
キーの書き込みと配布を実現します。クライアントにとっては比較的簡単ですが、クライアントにとっては比較的面倒です。クラスタ管理ノードの増減や、プロキシ
自体も単一点とパフォーマンスのボトルネックになります。
Redis の現在のソリューション:
Redis のセンチネル メカニズムでは、Redis の高可用性の問題を解決できます。つまり、マスターに障害が発生した場合に、スレーブを自動的にマスター
に昇格させて、Redis サービスを正常に使用できるようにします。ただし、
redis スタンドアロン書き込みの問題は解決できません。ボトルネックの問題、つまり、単一マシンの redis 書き込みパフォーマンスは、単一マシンのメモリ サイズ、同時実行数、速度などの要因によって制限されます
。したがって、redis は、
redis バージョン 3.0 以降、非中央アーキテクチャの Redis クラスター メカニズムを正式に開始しました。非中央 Redis クラスターでは、各ノードが現在のノード データとクラスター全体の状態を保存し
、各ノードは他のすべてのノードに接続されており、その特徴は次のとおりです。
1.所有 Redis 节点使用(PING 机制)互联
2.集群中某个节点的失效，是整个集群中超过半数的节点监测都失效才算真正的失效
3.客户端不需要 proxy 即可直接连接 redis，应用程序需要写全部的 redis 服务器 IP。
4.redis cluster 把所有的 redis node 映射到 0-16383 个槽位(slot)上，读写需要到指定的
redis node 上进 操作，因此有多少个 reids node 相当于 redis 并发扩展了多少倍。
5.Redis cluster 预先分配 16384 个(slot)槽位，当需要在 redis 集群中写入一个 key-value
的时候，会使用 CRC16(key) mod 16384 之后的值，决定将 key 写入值哪一个槽位从而决定写入哪
一个 Redis 节点上，从而有效解决 机瓶颈。
2.2.1 Redis クラスターのアーキテクチャ
2.2.1.1 Redis クラスターの基本アーキテクチャ
3 つのメイン ノードが A、B、C の 3 つのノードである場合、ハッシュ スロット (ハッシュ スロット) を使用して 16384 個のスロットを割り当て
、3 つのノードのスロット間隔は次のようになります。
节点A覆盖 0－5460
节点B覆盖 5461－10922
节点C覆盖 10923－16383
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-DgXmcPbd-1693219416533)(png/Redis-Cluster-Master-no-slave.png) )]
2.2.1.2 Redis クラスターのマスター/スレーブ アーキテクチャ
Redis クラスター アーキテクチャは同時実行性の問題を解決しますが、
各 Redis マスターの高可用性をどのように解決するかという新たな問題が生じます。
このとき、Redis クラスターのマスター/スレーブ アーキテクチャがライブ ブロードキャスト ルームに入りました。！
Redis クラスターの概略図は次のとおりです。
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-XUJeQDmF-1693219416534)(png/Redis-Cluster-Master-slave.png)]
2.2.2 Redis クラスターのデプロイメント
環境整備
| ザ・ホスト | CPU名 | 役割 |
|---|---|---|
| 192.168.131.155 | redisサーバーノード1 | マスター |
| 192.168.131.156 | redis-node2 | マスター |
| 192.168.131.157 | redis-node3 | マスター |
| 192.168.131.158 | redis-node4 | スレーブ |
| 192.168.131.159 | redis-node5 | スレーブ |
| 192.168.131.154 | redis-node6 | スレーブ |
| 192.168.131.160 | redis-node7 | 予備の |
| 192.168.131.161 | redis-node8 | 予備の |
2.2.2.1 Redis Cluster マスター/スレーブ アーキテクチャを作成するための前提条件
- 各 Redis ノードは、同じハードウェア構成、同じパスワード、同じ Redis バージョンを使用します。
- 各ノードで有効にする必要があるパラメーターにより
cluster-enabled yesクラスターが有効になり、
アクティブ化後に [クラスター] に Redis プロセス情報が表示されます。
[root@redis-server-node5 ~]# ps -ef | grep redis
redis 1788 1 0 15:12 ? 00:00:15 /apps/redis/bin/redis-server 0.0.0.0:6379 [cluster] # 集群运行模式
cluster-config-file nodes-6380.confこのオプションは、各ノードのクラスターによって生成される構成ファイルを構成します。
この構成ファイルは、手動操作なしで Redis Cluster クラスターによって自動的に作成および維持されます。- すべての Redis サーバーには事前にデータを含めてはいけません
- 最初はスタンドアロンとして開始します
2.2.2.2 Redis クラスターの作成
Redis 3 および Redis 4 バージョンの場合:
クラスター管理ツール redis-trib.rb を使用する必要があります。このツールは、redis クラスターを管理するために redis によって正式に起動されます
。これは、redis のソース コード src ディレクトリに統合されており、 redis が提供するクラスタコマンドパッケージです シンプルで便利で
実用的な操作ツールです redis-trib.rb は redis 作者が Ruby を使って開発しています
centos システムの yum でインストールされる Ruby は以下のような下位バージョンです
~$ yum install ruby rubygems
~$ yum install redis
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-3eUOgBxx-1693219416534)(png/2020-02-12-19-46-15) .png)]
Ruby の上位バージョンをダウンロードしてコンパイルしてインストールします。
[root@redis-server-node1 redis4]# yum remove ruby rubygems -y
[root@redis-server-node1 redis4]# wget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.5.tar.gz
[root@redis-server-node1 src]# tar xf ruby-2.5.5.tar.gz
[root@redis-server-node1 src]# cd ruby-2.5.5
[root@redis-server-node1 ruby-2.5.5]# ./configure
[root@redis-server-node1 ruby-2.5.5]# make -j 2
[root@redis-server-node1 ruby-2.5.5]# make install
[root@redis-server-node1 ruby-2.5.5]# gem install redis
[root@redis-server-node1 ruby-2.5.5]# gem install redis
Fetching: redis-4.1.3.gem (100%)
Successfully installed redis-4.1.3
Parsing documentation for redis-4.1.3
Installing ri documentation for redis-4.1.3
Done installing documentation for redis after 0 seconds
1 gem installed
[root@redis-server-node1 ruby-2.5.5]# find / -name redis-trib.rb
/usr/local/src/redis-4.0.14/src/redis-trib.rb
[root@redis-server-node1 ruby-2.5.5]# cp /usr/local/src/redis-4.0.14/src/redis-trib.rb /usr/bin/
#如果无法在线安装，可以下载reids模块安装包离线安装
#https://rubygems.org/gems/redis #先下载redis模块安装包
#gem install -l redis-3.3.0.gem #安装redis模块
インストール後にredis-trib.rbコマンドが実行可能であることを確認する
[root@redis-server-node1 ruby-2.5.5]# redis-trib.rb
Usage: redis-trib <command> <options> <arguments ...>
create host1:port1 ... hostN:portN
--replicas <arg>
check host:port
info host:port
fix host:port
--timeout <arg>
reshard host:port
--from <arg>
--to <arg>
--slots <arg>
--yes
--timeout <arg>
--pipeline <arg>
rebalance host:port
--weight <arg>
--auto-weights
--use-empty-masters
--timeout <arg>
--simulate
--pipeline <arg>
--threshold <arg>
add-node new_host:new_port existing_host:existing_port
--slave
--master-id <arg>
del-node host:port node_id
set-timeout host:port milliseconds
call host:port command arg arg .. arg
import host:port
--from <arg>
--copy
--replace
help (show this help)
For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.
Redisにパスワードが設定されている場合は、Rubyクライアントのソースコードを変更し、パスワードを設定したパスワードに変更する必要があります
[root@redis-server-node1 ruby-2.5.5]# vim /usr/local/lib/ruby/gems/2.5.0/gems/redis-4.1.3/lib/redis/client.rb
# frozen_string_literal: true
require_relative "errors"
require "socket"
require "cgi"
class Redis
class Client
DEFAULTS = {
:url => lambda {
ENV["REDIS_URL"] },
:scheme => "redis",
:host => "127.0.0.1",
:port => 6379,
:path => nil,
:timeout => 5.0,
:password => "stevenux", # 原来值为nil
:db => 0,
:driver => nil,
:id => nil,
:tcp_keepalive => 0,
:reconnect_attempts => 1,
:reconnect_delay => 0,
:reconnect_delay_max => 0.5,
:inherit_socket => false
}
...
最初に各 Redis インスタンスを起動すると、起動後に追加のポートが存在します。これは、Redis の 6379 に 10000 を加えたものに基づいています。
[root@redis-server-node1 ~]# systemctl start redis
[root@redis-server-node1 ~]# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 511 *:16379 # 集群主机间通信的端口 *:*
LISTEN 0 128 127.0.0.1:9000 *:*
LISTEN 0 50 *:3306 *:*
LISTEN 0 511 *:6379 # Redis端口 *:*
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 [::1]:25 [::]:*
LISTEN 0 128 [::]:111 [::]:*
LISTEN 0 128 [::]:22 [::]:*
Redis3/4 バージョンでは、Ruby スクリプトを使用してクラスターを作成します。
[root@redis-server-node1 ~]# redis-trib.rb create --replicas 1 192.168.100.10:6379 192.168.100.11:6379 192.168.100.12:6379 192.168.100.13:6379 192.168.100.14:6379 192.168.100.15:6379
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.100.10:6379
192.168.100.11:6379
192.168.100.12:6379
Adding replica 192.168.100.14:6379 to 192.168.100.10:6379
Adding replica 192.168.100.15:6379 to 192.168.100.11:6379
Adding replica 192.168.100.13:6379 to 192.168.100.12:6379
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-5460 (5461 slots) master
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:5461-10922 (5462 slots) master
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:10923-16383 (5461 slots) master
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join......
>>> Performing Cluster Check (using node 192.168.100.10:6379)
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots: (0 slots) slave
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:10923-16383 (5461 slots) master
1 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:5461-10922 (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
主从对应关系：主<-->从
192.168.100.10 <--> 192.168.100.14
192.168.100.11 <--> 192.168.100.15
192.168.100.12 <--> 192.168.100.13
Redis にデータが残っている場合、クラスターの作成が失敗し、データは消去されます。
192.168.131.155>FLUSHDB
192.168.131.155>FLUSHALL
192.168.131.155>CLUSTER RESET # 重置集群
Redis3/4 クラスターのステータスを表示します。
[root@redis-server-node1 ~]# redis-trib.rb info 192.168.100.14:6379
192.168.100.12:6379 (6789c52c...) -> 0 keys | 5461 slots | 1 slaves.
192.168.100.11:6379 (9f26fd0a...) -> 0 keys | 5462 slots | 1 slaves.
192.168.100.10:6379 (90c32a43...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
Redis5 バージョンでは、独自のredis-cliコマンドを使用してクラスターを作成します。
[root@redis-server-node1 ~]# redis-cli -a stevenux --cluster create 192.168.131.155:6379 192.168.131.156:6379 192.168.131.157:6379 192.168.131.158:6379 192.168.131.159:6379 192.168.131.154:6379 --cluster-replicas 1
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.131.159:6379 to 192.168.131.155:6379
Adding replica 192.168.131.154:6379 to 192.168.131.156:6379
Adding replica 192.168.131.158:6379 to 192.168.131.157:6379
M: c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.155:6379
slots:[0-5460] (5461 slots) master
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.156:6379
slots:[5461-10922] (5462 slots) master
M: 55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.157:6379
slots:[10923-16383] (5461 slots) master
S: f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.158:6379
replicates 55ac711af0b76fe380102a71c1a2f02657ec4009
S: 686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.159:6379
replicates c50ffdba27c949e44fd108fbb43ea7f0b5155073
S: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.154:6379
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
....
>>> Performing Cluster Check (using node 192.168.131.155:6379)
M: c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.155:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: 55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.157:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.158:6379
slots: (0 slots) slave
replicates 55ac711af0b76fe380102a71c1a2f02657ec4009
S: 686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.159:6379
slots: (0 slots) slave
replicates c50ffdba27c949e44fd108fbb43ea7f0b5155073
S: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.154:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.156:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
主从对应关系：主<-->从
# 192.168.131.155<-->192.168.131.159
# 192.168.131.156<-->192.168.131.154
# 192.168.131.157<-->192.168.131.158
没设置静态IP的后果，第二天IP全变了：主 <--> 从
192.168.131.168 <--> 192.168.131.165
192.168.131.166 <--> 192.168.131.167
192.168.131.170 <--> 192.168.131.169
変わった環境
| ザ・ホスト | CPU名 | 役割 |
|---|---|---|
| 192.168.131.165 | redis-node5 | スレーブ |
| 192.168.131.166 | redis-node3 | マスター |
| 192.168.131.167 | redis-node4 | スレーブ |
| 192.168.131.168 | redisサーバーノード1 | マスター |
| 192.168.131.169 | redis-node6 | スレーブ |
| 192.168.131.170 | redis-node2 | マスター |
| 192.168.131.160 | redis-node7 | 予備の |
| 192.168.131.161 | redis-node8 | 予備の |
2.2.2.3 Redis クラスターのステータスを確認する
マスターの集まりが少なく、出発が多いのを見ると、スピードが速く、休日は10時を超えており、フィードバックを受けるのはクレイジーです。水道代と電気代は考慮されています。Spiritual MediaTek。masterauthの認証パスワードは次のとおりです
。未設定、マスターは確立されていませんが、クラスターはすでに実行されているため
、マスター認証パスワードを設定するために各スレーブ コンソールが構成セットを使用するか
、できればパスワードを設定した後に各 Redis 構成ファイルに書き込みます。コントロール ポイントを設定し、それを構成ファイルに書き込みます。
この時点でマスターとスレーブの関係を確認すると、メイン ライブラリがダウン状態にあることがわかります。セットアップするmasterauthだけです/2020-02-12-22-52-15.png)]
ライブラリから実行CONFIG SET masterauth stevenux
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-CdbqYQ8F-1693219416535)(png/2020-02-12-22) -55-19.png )]
他の 2 つのスレーブ ライブラリは個別に設定されますCONFIG SET masterauth stevenux
2.2.2.4 スレーブに接続されているマスターのステータスがアップであることを確認する
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-06RXOaQV-1693219416536)(png/2020-02-13-13-42-03) .png)]
192.168.131.165:6379> info replication
# Replication
role:slave
master_host:192.168.131.168
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:922
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8792e94ec747252b1521d724319c63b8eff47c78
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:922
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:922
192.168.131.167:6379> info replication
# Replication
role:slave
master_host:192.168.131.166
master_port:6379
master_link_status:up # master为166，已连接
master_last_io_seconds_ago:7
master_sync_in_progress:0
slave_repl_offset:22848
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:7ccc9bf85b51d654c5ca00ccb77295341daa55d8
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:22848
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:22848
192.168.131.169:6379> INFO replication
# Replication
role:slave
master_host:192.168.131.170
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:28
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:2eb15a59d68d46b214b2a6ed0fa4819e13e12959
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:28
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byt
2.2.2.5 マスターがスレーブにも接続されていることを確認する
[root@redis-node3 ~]# redis-cli -h 192.168.131.166 -p 6379
192.168.131.166:6379> auth stevenux
OK
192.168.131.166:6379> ingo replication
(error) ERR unknown command `ingo`, with args beginning with: `replication`,
192.168.131.166:6379> info replication
# Replication
role:master
connected_slaves:1 # slave为167，已连接
slave0:ip=192.168.131.167,port=6379,state=online,offset=22750,lag=1
master_replid:7ccc9bf85b51d654c5ca00ccb77295341daa55d8
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:22750
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:22750
192.168.131.168:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.131.165,port=6379,state=online,offset=740,lag=0
master_replid:8792e94ec747252b1521d724319c63b8eff47c78
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:740
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:740
192.168.131.170:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.131.169,port=6379,state=online,offset=616,lag=1
master_replid:2eb15a59d68d46b214b2a6ed0fa4819e13e12959
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:616
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:616
2.2.2.6 クラスタの状態を確認する
[root@redis-node4 ~]# redis-cli -h 192.168.131.167 -p 6379
192.168.131.170:6379> CLUSTER INFO
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6 # 6个节点
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:2
cluster_stats_messages_ping_sent:24775
cluster_stats_messages_pong_sent:25321
cluster_stats_messages_meet_sent:3
cluster_stats_messages_sent:50099
cluster_stats_messages_ping_received:25319
cluster_stats_messages_pong_received:24765
cluster_stats_messages_meet_received:2
cluster_stats_messages_received:50086
2.2.2.7 クラスタノードの対応関係を表示する
192.168.131.170:6379> cluster nodes
f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.167:6379@16379 slave 55ac711af0b76fe380102a71c1a2f02657ec4009 0 1581581004450 4 connected
55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.166:6379@16379 master - 0 1581581003441 3 connected 10923-16383
686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.165:6379@16379 slave c50ffdba27c949e44fd108fbb43ea7f0b5155073 0 1581581002431 5 connected
827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379@16379 slave 25f50036c8e17175d1a4b7f2e9aca845af4114a6 0 1581581002000 6 connected
25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.156:6379@16379 myself,master - 0 1581581000000 2 connected 5461-10922
c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.168:6379@16379 master - 0 1581581001000 1 connected 0-5460
2.2.2.8 クラスターデータの書き込みと同期の確認
各マスターの執筆:
[root@redis-node3 ~]# redis-cli -h 192.168.131.166
192.168.131.166:6379> set key1 v1 # 经过计算，当前key1的槽位不在本机，在192.168.131.170
(error) MOVED 9189 192.168.131.170:6379
192.168.131.166:6379> set key2 v2
(error) MOVED 4998 192.168.131.168:6379
192.168.131.166:6379> set key3 v3
(error) MOVED 935 192.168.131.168:6379
192.168.131.166:6379> set key4 v4 # 经过计算，当前key4的槽位在本机
OK
192.168.131.166:6379> get key4
(error) NOAUTH Authentication required.
192.168.131.166:6379> auth stevenux
OK
192.168.131.166:6379> get key4
"v4"
# 从库 Slave 可以看有哪些 key，但是无法读取 key 的内容:
# 从库查看数据，Slave为192.168.131.167
192.168.131.167:6379> keys *
1) "key4"
192.168.131.167:6379> get key4
(error) MOVED 13120 192.168.131.166:6379 # 提示只能在主库看内容
[root@redis-server-node1 ~]# redis-cli -h 192.168.131.168
192.168.131.168:6379> SET KEY1 V1
(error) NOAUTH Authentication required.
192.168.131.168:6379> auth stevenux
OK
192.168.131.168:6379> SET KEY1 V1
OK
192.168.131.168:6379> keys *
1) "KEY1"
# 从库查看数据，Slave为192.168.131.165
192.168.131.165:6379> keys *
1) "KEY1"
192.168.131.165:6379> get KEY1
(error) MOVED 5259 192.168.131.168:6379
[root@redis-node2 ~]# redis-cli -h 192.168.131.170
192.168.131.170:6379> SET KEY3 V7
(error) MOVED 13513 192.168.131.166:6379
192.168.131.170:6379> SET KEY2 V7
OK
192.168.131.170:6379> GET KEY2
(error) NOAUTH Authentication required.
192.168.131.170:6379> auth stevenux
OK
192.168.131.170:6379> GET KEY2
"V7"
# 从库查看数据，Slave为192.168.131.169
192.168.131.169:6379> keys *
1) "KEY2"
192.168.131.169:6379> get KEY2
(error) MOVED 9448 192.168.131.170:6379
2.2.2.9 クラスタのステータスの確認と監視
# Redis4使用：
[root@s1 ~]# redis-trib.rb info 172.18.200.105:6379
# Redis5使用：
[root@redis-node3 ~]# redis-cli -a stevenux --cluster check 192.168.131.166:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.131.166:6379 (55ac711a...) -> 1 keys | 5461 slots | 1 slaves.
192.168.131.168:6379 (c50ffdba...) -> 1 keys | 5461 slots | 1 slaves.
192.168.131.170:6379 (25f50036...) -> 1 keys | 5462 slots | 1 slaves.
[OK] 3 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.131.166:6379)
M: 55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.166:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: 686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.165:6379
slots: (0 slots) slave
replicates c50ffdba27c949e44fd108fbb43ea7f0b5155073
S: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
S: f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.167:6379
slots: (0 slots) slave
replicates 55ac711af0b76fe380102a71c1a2f02657ec4009
M: c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.168:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.170:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
2.2.3 Redis Cluster クラスターノードのメンテナンス
クラスターが長期間実行されていると、
ハードウェア障害、ネットワーク計画、Redis ノードの追加、ノードの削減、ノードの移行、ビジネスの成長などの理由により、既存のクラスターに対応する調整を行うことが避けられません。そしてサーバーの入れ替え。
ノードの追加と削除には、既存のスロットの再割り当てとデータの移行が含まれます。ノードの追加や削除を行う前に、
十分な準備を行う必要がありますが、それは当然のことではありません。
2.2.3.1 ノードを動的に追加する
Redis ノードを追加するには、前の Redis ノードと同じバージョンと構成が必要であり、次に 2 つの Redis ノード (マスターとスレーブを 1 つずつ) をそれぞれ起動します。実際の運用では、マスターの実行時間が
長くなるため、最終的にマスターとスレーブが置き換えられます。奴隷と
同じ、老化の度合いも同じです。
例:
会社のビジネスの急速な発展により、既存の 3 つのマスターと 3 つのスレーブの Redis クラスター アーキテクチャでは既存のビジネスの同時書き込み要件を満たすことができない可能性があるため、会社は緊急に 2 台のサーバー 192.168.131.163 を購入しました
。および 192.168.131.164
をクラスターに動的に追加しても、ビジネス利用やデータ損失には影響しません。追加プロセスは次のとおりです。
Redis ノードの構成ファイルを 192.168.131.163 Redis コンパイルおよびインストール ディレクトリに同期します。構成ファイルのリスニング IPに注意してください。
[root@redis-node3 ~]# scp /apps/redis/etc/redis.conf 192.168.131.163:/apps/redis/etc/
The authenticity of host '192.168.131.163 (192.168.131.163)' can't be established.
ECDSA key fingerprint is SHA256:Th4hwF8/bfgThJ5IrqAGh3GSsasTSmHmPfVNDI6EKss.
ECDSA key fingerprint is MD5:fb:cf:db:aa:73:87:4c:8f:4e:bb:c3:d8:45:14:20:0e.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.131.163' (ECDSA) to the list of known hosts.
[email protected]'s password:
redis.conf 100% 5183 7.0MB/s 00:00
[root@redis-node7 ~]# ll /apps/redis/etc/
total 12
-rw-r--r-- 1 redis redis 5183 Feb 13 16:38 redis.conf
Redisを起動して追加します
[root@redis-node7 ~]# systemctl start redis
[root@redis-node7 ~]# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 511 *:16379 *:*
LISTEN 0 511 *:6379 *:*
クラスターにノードを追加する
新しい Redis ノード 192.168.131.163-redis-node7 を現在の Redis クラスターに追加します。
Redis 4 を追加する方法:
[root@redis-server-node1 ~]# redis-trib.rb add-node 192.168.100.16:6379 192.168.100.10:6379
>>> Adding node 192.168.100.16:6379 to cluster 192.168.100.10:6379
>>> Performing Cluster Check (using node 192.168.100.10:6379)
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-5460 (5461 slots) master
1 additional replica(s)
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:10923-16383 (5461 slots) master
1 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:5461-10922 (5462 slots) master
0 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 192.168.100.16:6379 to make it join the cluster.
[OK] New node added correctly. # 添加成功
Redis 5 を追加する方法:
[root@redis-node3 ~]# redis-cli -a stevenux --cluster add-node 192.168.131.163:6379 192.168.131.166:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Adding node 192.168.131.163:6379 to cluster 192.168.131.166:6379
>>> Performing Cluster Check (using node 192.168.131.166:6379)
M: 55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.166:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: 686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.165:6379
slots: (0 slots) slave
replicates c50ffdba27c949e44fd108fbb43ea7f0b5155073
S: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
S: f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.167:6379
slots: (0 slots) slave
replicates 55ac711af0b76fe380102a71c1a2f02657ec4009
M: c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.168:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.170:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 192.168.131.163:6379 to make it join the cluster.
[OK] New node added correctly. # 添加成功
スロットの再分配
ホストを追加した後、クラスターに追加された新しいホストを再フラグメント化する必要があります。そうしないと、フラグメント化せずにデータを書き込むことができなくなります。
現在のステータスを確認します。
Redis4:
[root@s1 ~]# redis-trib.rb check 192.168.131.165:6379 #当前状态
[root@redis-server-node1 ~]# redis-trib.rb check 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots: (0 slots) master # 192.168.100.16的曹位为0
0 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:5461-10922 (5462 slots) master
0 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:10923-16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@s1 ~]# redis-trib.rb reshard 192.168.131.163:6379 #重新分片
[root@redis-server-node1 ~]# redis-trib.rb reshard 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots: (0 slots) master
0 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:5461-10922 (5462 slots) master
0 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:10923-16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? 69e8db533eb78a831013a398bf2ef3ac4d23c8fb
Source node #1:all
Moving slot 12286 from 6789c52caa900c09dda2df57132e73646bcf3735
Moving slot 12287 from 6789c52caa900c09dda2df57132e73646bcf3735
Do you want to proceed with the proposed reshard plan (yes/no)?
...
Moving slot 12286 from 192.168.100.12:6379 to 192.168.100.16:6379:
Moving slot 12287 from 192.168.100.12:6379 to 192.168.100.16:6379:
[root@redis-server-node1 ~]#
[root@redis-server-node1 ~]# redis-trib.rb check 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots:0-1364,5461-6826,10923-12287 (4096 slots) master
0 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
0 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:1365-5460 (4096 slots) master
1 additional replica(s)
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered. # 重新分配成功
Redis5:
新しく追加されたマスター: 192.168.131.163 未割り当てスロット
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-2iK9GpKt-1693219416537)(png/2020- 02-13 -16-56-46.png)]
を使用してredis-cli --cluster reshard NEWIP:PORTスロットを再割り当てします
[root@redis-node3 ~]# redis-cli -a stevenux --cluster reshard 192.168.131.163:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing Cluster Check (using node 192.168.131.163:6379)
M: 8b12fd741381878f6fa871a1c2995fc2ea9b939f 192.168.131.163:6379
slots: (0 slots) master
S: f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.167:6379
slots: (0 slots) slave
replicates 55ac711af0b76fe380102a71c1a2f02657ec4009
M: c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.168:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
S: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
M: 55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.166:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: 686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.165:6379
slots: (0 slots) slave
replicates c50ffdba27c949e44fd108fbb43ea7f0b5155073
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.170:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)?4096 # 需要迁移的槽位
What is the receiving node ID? 8b12fd741381878f6fa871a1c2995fc2ea9b939f # 接收曹位的主机ID(新增的节点ID)
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots. # 输入all直接从各个master均分曹位到新节点
Type 'done' once you entered all the source nodes IDs.
Source node #1: c50ffdba27c949e44fd108fbb43ea7f0b5155073 # 迁移曹位的源节点1
Source node #2: 55ac711af0b76fe380102a71c1a2f02657ec4009 # 迁移曹位的源节点2
Source node #3: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 # 迁移曹位的源节点3
Source node #4: done # 完成
Moving slot 5468 from 25f50036c8e17175d1a4b7f2e9aca845af4114a6
Moving slot 5469 from 25f50036c8e17175d1a4b7f2e9aca845af4114a6
...
Moving slot 11809 from 55ac711af0b76fe380102a71c1a2f02657ec4009
Moving slot 11810 from 55ac711af0b76fe380102a71c1a2f02657ec4009
Do you want to proceed with the proposed reshard plan (yes/no)?yes
スロットの移行が完了していることを確認する
Redis4:
[root@redis-server-node1 ~]# redis-trib.rb check 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots:0-1364,5461-6826,10923-12287 (4096 slots) master
0 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
0 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:1365-5460 (4096 slots) master
1 additional replica(s)
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
Redis5:
新しいマスターのスレーブ ノードを追加する
高可用性を実現するために、新しく追加されたマスターのスレーブ ライブラリとして別のノード スレーブ: 192.168.131.164 を追加します。
Redis4:
# 添加
root@redis-server-node1 ~]# redis-trib.rb add-node 192.168.100.17:6379 192.168.100.10:6379
>>> Adding node 192.168.100.17:6379 to cluster 192.168.100.10:6379
>>> Performing Cluster Check (using node 192.168.100.10:6379)
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:1365-5460 (4096 slots) master
1 additional replica(s)
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots:0-1364,5461-6826,10923-12287 (4096 slots) master
0 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
0 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 192.168.100.17:6379 to make it join the cluster.
[OK] New node added correctly.
# 检查集群
[root@redis-server-node8 ~]# redis-trib.rb check 192.168.100.17
Invalid IP or Port (given as 192.168.100.17) - use IP:Port format
[root@redis-server-node8 ~]# redis-trib.rb check 192.168.100.17:6379
>>> Performing Cluster Check (using node 192.168.100.17:6379)
M: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) master
0 additional replica(s)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots:0-1364,5461-6826,10923-12287 (4096 slots) master
0 additional replica(s)
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:1365-5460 (4096 slots) master
1 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
0 additional replica(s)
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
# 设置192.168.100.16为192.168.100.17的主库
[root@redis-server-node8 ~]# redis-cli -h 192.168.100.17
192.168.100.17:6379> auth stevenux
OK
192.168.100.17:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:b44fe27c247dee3c68779e8855d21a7b04b7deda
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
192.168.100.17:6379> cluster replicate 69e8db533eb78a831013a398bf2ef3ac4d23c8fb # 192.168.100.16的ID
OK
192.168.100.17:6379> config set masterauth stevenux
OK
192.168.100.17:6379> info replication
# Replication
role:slave
master_host:192.168.100.16 # 设置成功
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:0
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:67ac09c6185d2004f3b4fcebc5a352f61340ec36
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0
# 检查集群完整性
[root@redis-server-node7 ~]# redis-trib.rb check 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots:0-1364,5461-6826,10923-12287 (4096 slots) master
1 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
1 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots: (0 slots) slave
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:1365-5460 (4096 slots) master
1 additional replica(s)
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 69e8db533eb78a831013a398bf2ef3ac4d23c8fb
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
Redis5:
[root@redis-node3 ~]# redis-cli -a stevenux --cluster add-node 192.168.131.164:6379 192.168.131.165:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Adding node 192.168.131.164:6379 to cluster 192.168.131.165:6379
>>> Performing Cluster Check (using node 192.168.131.165:6379)
S: 686b5cf3ae7719e43882d53dbe0da4ae40b2134e 192.168.131.165:6379
slots: (0 slots) slave
replicates c50ffdba27c949e44fd108fbb43ea7f0b5155073
M: 8b12fd741381878f6fa871a1c2995fc2ea9b939f 192.168.131.163:6379
slots: (0 slots) master
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.170:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: f762795742a5d6a19bb2735f3eb3db4fb86e24c3 192.168.131.167:6379
slots: (0 slots) slave
replicates 55ac711af0b76fe380102a71c1a2f02657ec4009
S: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
M: c50ffdba27c949e44fd108fbb43ea7f0b5155073 192.168.131.168:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: 55ac711af0b76fe380102a71c1a2f02657ec4009 192.168.131.166:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 192.168.131.164:6379 to make it join the cluster.
[OK] New node added correctly.
新しいノードのステータスをスレーブに変更します
マスターのスレーブとして手動で指定する必要があります。それ以外の場合、デフォルトの役割は
新しいノードにマスターとしてログインし、コマンドを使用してCLUSTER REPLICATE MasterIDマスターのスレーブとして設定することです。
192.168.131.164:6379> CLUSTER REPLICATE f98ad5793d9faefdce6dccd274c9afd9d82f07de
192.168.131.164:6379> CONFIG SET masterauth stevenux
# 设置192.168.100.16为192.168.100.17的主库
[root@redis-server-node8 ~]# redis-cli -h 192.168.100.17
192.168.100.17:6379> auth stevenux
OK
192.168.100.17:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:b44fe27c247dee3c68779e8855d21a7b04b7deda
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
192.168.100.17:6379> cluster replicate 69e8db533eb78a831013a398bf2ef3ac4d23c8fb # 192.168.100.16的ID
OK
192.168.100.17:6379> config set masterauth stevenux
OK
192.168.100.17:6379> info replication
# Replication
role:slave
master_host:192.168.100.16 # 设置成功
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:0
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:67ac09c6185d2004f3b4fcebc5a352f61340ec36
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0
現在のクラスターの状態を確認する
各マスターにスレーブ ノードがあることを確認してください
Redis4:
[root@redis-server-node7 ~]# redis-trib.rb check 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots:0-1364,5461-6826,10923-12287 (4096 slots) master
1 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
1 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots: (0 slots) slave
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:1365-5460 (4096 slots) master
1 additional replica(s)
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 69e8db533eb78a831013a398bf2ef3ac4d23c8fb
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
Redis5:
[root@redis-node5 ~]# redis-cli -a stevenux --cluster check 192.168.131.170:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.131.170:6379 (25f50036...) -> 0 keys | 4096 slots | 1 slaves.
192.168.131.167:6379 (d81888e8...) -> 0 keys | 4096 slots | 1 slaves.
192.168.131.168:6379 (314e1ca8...) -> 0 keys | 4096 slots | 1 slaves.
192.168.131.169:6379 (827a9a79...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 0 keys in 4 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.131.170:6379)
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.170:6379
slots:[0-4095] (4096 slots) master
1 additional replica(s)
M: d81888e80018bb7ecdd7778373317ea591beb16a 192.168.131.167:6379
slots:[12288-16383] (4096 slots) master
1 additional replica(s)
S: 27b4c0993bdba6460123655a5167ca32ad3c497d 192.168.131.163:6379
slots: (0 slots) slave
replicates d81888e80018bb7ecdd7778373317ea591beb16a
S: 3f3f142332722bda502d1019cbdce87dbcb89b70 192.168.131.164:6379
slots: (0 slots) slave
replicates 314e1ca8d842bfafb8b059cab891e662b5240b3b
S: 4a1e762f3d69113005617379cb4d290c9a792185 192.168.131.165:6379
slots: (0 slots) slave
replicates 827a9a793e893c92036736678eed55175d3dc3e5
M: 314e1ca8d842bfafb8b059cab891e662b5240b3b 192.168.131.168:6379
slots:[8192-12287] (4096 slots) master
1 additional replica(s)
M: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379
slots:[4096-8191] (4096 slots) master
1 additional replica(s)
S: 809c3debc42c25256001b0abcac46b23d64b0402 192.168.131.166:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
2.2.3.2 ノードを動的に削除する
ノードを追加するときは、最初にノードをクラスターに追加し、次にスロットを割り当てます。ノードを削除する操作は、ノードを追加する操作の逆です。最初に、削除された
Redis ノード上のスロットをクラスターに移行します。クラスター内の他の Redis ノード
Redis ノード上のスロットが完全に移行されていない場合、
ノードを削除するときにデータが存在するため削除できないことを示すメッセージが表示されます。
削除するマスターのスロットを別のマスターに移行します
移行する Redis マスターのソースサーバーはデータがないことを確認する必要があります。データが存在しない場合、移行はエラーを報告し、強制的に中断されます。
Redis4：
# 192.168.100.16 --> 192.168.100.10 移动4096
root@redis-server-node6 ~]# redis-trib.rb check 192.168.100.16:6379
...
Moving slot 12283 from 192.168.100.16:6379 to 192.168.100.10:6379:
Moving slot 12284 from 192.168.100.16:6379 to 192.168.100.10:6379:
Moving slot 12285 from 192.168.100.16:6379 to 192.168.100.10:6379:
Moving slot 12286 from 192.168.100.16:6379 to 192.168.100.10:6379:
Moving slot 12287 from 192.168.100.16:6379 to 192.168.100.10:6379:
[root@redis-server-node6 ~]# redis-trib.rb check 192.168.100.16:6379
>>> Performing Cluster Check (using node 192.168.100.16:6379)
M: 69e8db533eb78a831013a398bf2ef3ac4d23c8fb 192.168.100.16:6379
slots: (0 slots) master # 已经没有槽位
0 additional replica(s)
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
1 additional replica(s)
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots: (0 slots) slave
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-6826,10923-12287 (8192 slots) master # 8192个
2 additional replica(s)
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@s1 ~]# redis-trib.rb reshard 192.168.7.101:6379
[root@s1 ~]# redis-trib.rb fix 192.168.7101:6379 # 如果迁移失败使用此命令修复集群
Redis5：
[root@redis-node5 ~]# redis-cli -a stevenux --cluster reshard 192.168.131.170:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing Cluster Check (using node 192.168.131.170:6379)
M: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 192.168.131.170:6379
slots:[0-4095] (4096 slots) master
1 additional replica(s)
M: d81888e80018bb7ecdd7778373317ea591beb16a 192.168.131.167:6379
slots:[12288-16383] (4096 slots) master
1 additional replica(s)
S: 27b4c0993bdba6460123655a5167ca32ad3c497d 192.168.131.163:6379
slots: (0 slots) slave
replicates d81888e80018bb7ecdd7778373317ea591beb16a
S: 3f3f142332722bda502d1019cbdce87dbcb89b70 192.168.131.164:6379
slots: (0 slots) slave
replicates 314e1ca8d842bfafb8b059cab891e662b5240b3b
S: 4a1e762f3d69113005617379cb4d290c9a792185 192.168.131.165:6379
slots: (0 slots) slave
replicates 827a9a793e893c92036736678eed55175d3dc3e5
M: 314e1ca8d842bfafb8b059cab891e662b5240b3b 192.168.131.168:6379
slots:[8192-12287] (4096 slots) master
1 additional replica(s)
M: 827a9a793e893c92036736678eed55175d3dc3e5 192.168.131.169:6379
slots:[4096-8191] (4096 slots) master
1 additional replica(s)
S: 809c3debc42c25256001b0abcac46b23d64b0402 192.168.131.166:6379
slots: (0 slots) slave
replicates 25f50036c8e17175d1a4b7f2e9aca845af4114a6
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? d81888e80018bb7ecdd7778373317ea591beb16a # 167接收
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1: 25f50036c8e17175d1a4b7f2e9aca845af4114a6 # 170为源
Source node #2: done
Moving slot 4095 from 25f50036c8e17175d1a4b7f2e9aca845af4114a6
Do you want to proceed with the proposed reshard plan (yes/no)? yes
Moving slot 0 from 192.168.131.170:6379 to 192.168.131.167:6379
...
Moving slot 4095 from 192.168.131.170:6379 to 192.168.131.167:6379
クラスターからサーバーを削除する
スロットは移行されましたが、サーバーの IP 情報はクラスター内に残っているため、IP
情報をクラスターから削除する必要があります。
Redis3/4:
~$ redis-rtib.rb del-node 192.168.131.170:6379 25f50036c8e17175d1a4b7f2e9aca845af4114a6
[root@redis-server-node6 ~]# redis-trib.rb del-node 192.168.100.16:6379 69e8db533eb78a831013a398bf2ef3ac4d23c8fb
>>> Removing node 69e8db533eb78a831013a398bf2ef3ac4d23c8fb from cluster 192.168.100.16:6379
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.
Redis5:
~$ redis-cli -a stevenux --cluster del-node 192.168.131.170:6379 25f50036c8e17175d1a4b7f2e9aca845af4114a6
ノードが削除されたことを確認する
Redis4:
192.168.100.16 がクラスターから削除されていることを確認します
[root@redis-server-node6 ~]# redis-trib.rb check 192.168.100.16:6379
[ERR] Sorry, can't connect to node 192.168.100.16:6379
[root@redis-server-node6 ~]# redis-trib.rb check 192.168.100.16:6379
[ERR] Sorry, can't connect to node 192.168.100.16:6379
[root@redis-server-node6 ~]# redis-trib.rb check 192.168.100.15:6379
>>> Performing Cluster Check (using node 192.168.100.15:6379)
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots: (0 slots) slave
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-6826,10923-12287 (8192 slots) master
2 additional replica(s) # 192.168.100.17跑到了192.168.100.10的直播间！！！
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
1 additional replica(s)
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
Redis5:
192.168.131.170 がクラスターから削除されていることを確認します
~$ redis-cli -a stevenux --cluster check 192.168.131.163:6379
注: 192.168.131.170 が削除されると、以前のスレーブは自動的に
Redis クラスター内の他のマスターのスレーブになります。このノードも必要がなければ削除できます。
192.168.131.170 を削除した後にクラスターを確認する
~$ redis-cli -a stevenux --cluster check 192.168.131.163:6379
192.168.100.16 を削除した後にクラスターを確認する
[root@redis-server-node6 ~]# redis-trib.rb check 192.168.100.15:6379
>>> Performing Cluster Check (using node 192.168.100.15:6379)
S: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots: (0 slots) slave
replicates 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-6826,10923-12287 (8192 slots) master
2 additional replica(s) # 192.168.100.17跑到了192.168.100.10的直播间！！！
M: 9f26fd0ac2b4694708c76edeb71d3c9ed02bbae4 192.168.100.11:6379
slots:6827-10922 (4096 slots) master
1 additional replica(s)
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
2.2.3.3 マスターのダウンタイムをシミュレートする
現在のアーキテクチャは 3 つのマスターと 3 つのスレーブで、相互にクロスホスト マスター/スレーブ モードになっており、
マスターがダウンした後に自動的にスレーブに切り替わるかどうかをテストします。
テストマスター: 192.168.100.11 データ書き込み
[root@redis-server-node2 ~]# redis-cli -h 192.168.100.11
192.168.100.11:6379> AUTH stevenux
OK
192.168.100.11:6379> SET master immaster
(error) MOVED 5565 192.168.100.10:6379
192.168.100.11:6379> SET master1 immaster
(error) MOVED 170 192.168.100.10:6379
192.168.100.11:6379> SET master2 immaster
(error) MOVED 12489 192.168.100.12:6379
192.168.100.11:6379> SET master3 immaster # master3
OK
192.168.100.11:6379> SET master6 immaster
(error) MOVED 12365 192.168.100.12:6379
192.168.100.11:6379> SET master5 immaster
(error) MOVED 46 192.168.100.10:6379
192.168.100.11:6379> SET master4 immaster
(error) MOVED 4111 192.168.100.10:6379
192.168.100.11:6379> SET master7 immaster # master7
OK
テストスレーブ: 192.168.100.15 データ同期
[root@redis-server-node6 ~]# redis-cli -h 192.168.100.15
192.168.100.15:6379> AUTH stevenux
OK
192.168.100.15:6379> KEYS *
1) "master7"
2) "master3"
マスターを停止してフェイルオーバーを確認する
Redis マスター サービスが停止すると、対応するスレーブがマスターとして選択され、データの読み取り
および書き込み操作の処理を継続します。
[root@redis-server-node2 ~]# systemctl stop redis
スレーブログの検証
[root@redis-server-node6 ~]# tail -f -n30 /apps/redis/logs/redis.log
...
1692:S 13 Feb 23:41:25.587 * MASTER <-> SLAVE sync started
1692:S 13 Feb 23:41:25.587 # Error condition on socket for SYNC: Connection refused
1692:S 13 Feb 23:41:26.091 # Starting a failover election for epoch 10.
1692:S 13 Feb 23:41:26.093 # Currently unable to failover: Waiting for votes, but majority still not reached.
1692:S 13 Feb 23:41:26.093 # Failover election won: I'm the new master. # 选为master
1692:S 13 Feb 23:41:26.093 # configEpoch set to 10 after successful failover
1692:M 13 Feb 23:41:26.093 # Setting secondary replication ID to bbc2adff0a23a7b90be69e27353b95c9c5d6954c, valid up to offset: 113. New replication ID is 7d75d5faf1386624d99d9e9f1e59524698ab3b6f
1692:M 13 Feb 23:41:26.093 * Discarding previously cached master state.
1692:M 13 Feb 23:41:26.093 # Cluster state changed: ok # 集群状态更新
1692:M 13 Feb 23:41:31.353 * Slave 192.168.100.14:6379 asks for synchronization
...
[root@redis-server-node2 ~]# redis-trib.rb check 192.168.100.15:6379
>>> Performing Cluster Check (using node 192.168.100.15:6379)
M: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379 # 已经提升为主库
slots:6827-10922 (4096 slots) master
1 additional replica(s)
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
S: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots: (0 slots) slave
replicates 6789c52caa900c09dda2df57132e73646bcf3735
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-6826,10923-12287 (8192 slots) master
1 additional replica(s)
M: 6789c52caa900c09dda2df57132e73646bcf3735 192.168.100.12:6379
slots:12288-16383 (4096 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
`
2.2.3.4 既存の Redis データをインポートする
データをインポートするには、Redis クラスターがインポートされたデータと同じキー名を持つことができない必要があります。そうしないと、
インポートが失敗するか中断されます。例:
企業が Redis クラスターをデプロイした後、以前のデータを Redis クラスター クラスターにインポートする必要がありますが、Redis クラスターで使用されるフラグメントにキーを保存するメカニズムにより、従来の AOFファイルまたは RDB スナップショット
を使用する必要があります。
要件を満たしていないため、使用する必要があります。 クラスター データのインポート コマンドが完了しました。
データをインポートする前に、認証によって環境の不整合が発生してインポートが不可能になることを避けるために、クラスター内の各ノードとソース Redis サーバーを含む各 Redis サーバーのパスワードを閉じる必要があります。–cluster-replace は、
Redis クラスターの既存のキーを強制的に置き換えます。
[root@redis-server-node1 ~]# redis-trib.rb import --from 192.168.100.16:6379 --replace 192.168.100.12:6379
root@redis-server-node1 ~]# redis-trib.rb import --from 192.168.100.16:6379 --replace 192.168.100.10:6379
>>> Importing data from 192.168.100.16:6379 to cluster
>>> Performing Cluster Check (using node 192.168.100.10:6379)
M: 90c32a437cff64d61aa433b46d3143c77bc66eec 192.168.100.10:6379
slots:0-6826,10923-12287 (8192 slots) master
1 additional replica(s)
M: 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2 192.168.100.15:6379
slots:6827-10922 (4096 slots) master
1 additional replica(s)
S: b39722ddcd69ef8ac2fdd792fa120c0732565cb2 192.168.100.17:6379
slots: (0 slots) slave
replicates 90c32a437cff64d61aa433b46d3143c77bc66eec
M: 9884dd51c7bd74c4abb2b9dc5ac0409488f2c0ae 192.168.100.13:6379
slots:12288-16383 (4096 slots) master
0 additional replica(s)
S: 8c495ba64297d26f30101d4d63e9898239d1160f 192.168.100.14:6379
slots: (0 slots) slave
replicates 79a9a7ec7b4963dc44e9a8ff6e8ad6b233e242c2
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Connecting to the source Redis instance
*** Importing 5 keys from DB 0
Migrating fourth to 192.168.100.10:6379: ERR Syntax error, try CLIENT (LIST | KILL | GETNAME | SETNAME | PAUSE | REPLY)
Migrating kssdf to 192.168.100.15:6379: ERR Syntax error, try CLIENT (LIST | KILL | GETNAME | SETNAME | PAUSE | REPLY)
Migrating second to 192.168.100.10:6379: ERR Syntax error, try CLIENT (LIST | KILL | GETNAME | SETNAME | PAUSE | REPLY)
Migrating ksdf to 192.168.100.10:6379: ERR Syntax error, try CLIENT (LIST | KILL | GETNAME | SETNAME | PAUSE | REPLY)
Migrating key1 to 192.168.100.15:6379: ERR Syntax error, try CLIENT (LIST | KILL | GETNAME | SETNAME | PAUSE | REPLY)
# 该错误可参考这篇博文：https://blog.csdn.net/m0_37128231/article/details/80755478
2.2.4 Redis 拡張クラスター用のサードパーティ ソリューション
Redis に付属する公式の Redis クラスターに加えて、
参考用のオープンソース クラスター ソリューションがいくつかありますが、ほとんどの企業はそれらを使用しません。
2.2.4.1 コード
Codis は分散型 Redis ソリューションです。上位層アプリケーションの場合、
Codis プロキシへの接続と元の Redis サーバーへの接続に大きな違いはありません (コマンド リストはサポートされません)。上位層アプリケーションは
スタンドRedis. Codis の最下層は、リクエストの転送、ノンストップのデータ移行、その他の作業を処理します。その背後にあるものはすべて、フロント クライアントに対して透過的です。その背後にある接続は、無制限の Redis サービスで
あると単純に考えることができます。
メモリ。
codis-proxy は redis と同等です。つまり、codis-proxy への接続と redis への接続に違いはありません。codis
-proxy はステートレスであり、レコードが保存されるかどうかには関与しません。データは Zookeeper に記録されます。つまり、codis
プロキシは、zookeeper に key のレコードの場所をクエリし、プロキシは、処理のためにリクエストをグループに転送します。グループは、
マスターと 1 つ以上のスレーブで構成されます。デフォルトでは 1024 個のスロットがあります。Redis
クラスターには 16384 個のスロットがありますデフォルトでは、異なるスロットの内容が保存され、それらを異なるグループに置きます。
[外部リンク画像の転送に失敗しました。ソース サイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-Fu3CSzdn-1693219416538)(png/2020-02-14-00-19-58) .png)]
2.2.4.2 トゥエンプロキシ
シャーディングは Twemproxy 双方向プロキシ クライアントによって実現されます。つまり、ユーザーの代わりにデータがシャーディングされ、異なるバックエンド サーバーに読み書きされます。
また、memcached もサポートし、プロキシのアルゴリズムを構成できます。欠点は、twemproxy がボトルネックであり、
データ移行はサポートされていません。