Redis Advanced - Redis 断片化クラスター

元のテキストのアドレスが更新され、読書効果が向上しました。

Redis Advanced - Redis シャードクラスター | CoderMast プログラミングマストhttps://www.codermast.com/database/redis/redis-advance-sharded-cluster.html

シャードクラスターを構築する

マスター/スレーブとセントリーは、高可用性と高同時読み取りの問題を解決できます。しかし、まだ未解決の問題が 2 つあります。

大容量データストレージの問題
同時書き込みが多い場合の問題

上記の問題は、シャードクラスターを使用することで解決できます。シャードクラスターの特徴は次のとおりです。

クラスター内には複数のマスターがあり、各マスターには異なるデータが保存されます。
各マスターは複数のスレーブノードを持つことができます
マスターは ping を通じて互いの健康状態を監視します。
クライアント要求はクラスター内の任意のノードにアクセスでき、最終的には正しいノードに転送されます。

#クラスター構造

シャードクラスターには多数のノードが必要です。ここでは、3 つのマスターノードを含む最小限のシャードクラスターを構築します。各マスターにはスレーブノードが含まれます。構造は次のとおりです。

ここでは、同じ仮想マシン内で 6 つの Redis インスタンスを開いて、断片化されたクラスターをシミュレートします。

IP	ポート	役割
192.168.150.101	7001	マスター
192.168.150.101	7002	マスター
192.168.150.101	7003	マスター
192.168.150.101	8001	奴隷
192.168.150.101	8002	奴隷
192.168.150.101	8003	奴隷

#インスタンスと構成を準備する

以前のディレクトリ 7001、7002、および 7003 を削除し、ディレクトリ 7001、7002、7003、8001、8002、および 8003 を再作成します。

# 进入/tmp目录
cd /tmp
# 删除旧的，避免配置干扰
rm -rf 7001 7002 7003
# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

/tmp の下に次の内容の新しい redis.conf ファイルを準備します。

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.150.101
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

このファイルを各ディレクトリにコピーします。

# 进入/tmp目录
cd /tmp
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

各ディレクトリの redis.conf を変更し、ディレクトリと一致するように 6379 を変更します。

# 进入/tmp目录
cd /tmp
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

#開始

バックグラウンド起動モードが構成されているため、サービスを直接起動できます。

# 进入/tmp目录
cd /tmp
# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

ps 経由でステータスを表示します。

ps -ef | grep redis

検出サービスは正常に開始されました:

すべてのプロセスを閉じたい場合は、次のコマンドを実行できます。

ps -ef | grep redis | awk '{print $2}' | xargs kill

または (この方法をお勧めします):

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

#クラスターを作成する

サービスは開始されていますが、現在は各サービスが連携せずに独立しています。

クラスタを作成するにはコマンドを実行する必要がありますが、Redis5.0以前ではクラスタの作成が面倒で、5.0以降ではクラスタ管理コマンドがredis-cliに統合されました。

Redis5.0以前

Redis 5.0 より前のクラスターコマンドは、redis インストールパッケージの src/redis-trib.rb を使用して実装されました。redis-trib.rbはruby言語で書かれているため、ruby環境をインストールする必要があります。

# 安装依赖
yum -y install zlib ruby rubygems
gem install redis

次に、次のコマンドを使用してクラスターを管理します。

# 进入redis的src目录
cd /tmp/redis-6.2.4/src
# 创建集群
./redis-trib.rb create --replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

Redis5.0以降

Redis6.2.4 バージョン、クラスター管理を使用し、redis-cli に統合されています。形式は次のとおりです。

redis-cli --cluster create --cluster-replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

コマンドの説明:

redis-cli --clusterまたは./redis-trib.rb: クラスタ操作コマンドを表します
create: クラスターの作成を表します
--replicas 1または--cluster-replicas 1 : クラスター内の各マスターのコピー数が 1 であることを指定し、节点总数 ÷ (replicas + 1) この時点でマスターの数が取得されます。したがって、ノードリストの最初の n がマスターとなり、他のノードはすべてスレーブノードとなり、異なるマスターにランダムに割り当てられます。

実行後の様子:

ここで「yes」と入力すると、クラスターの作成が開始されます。

次のコマンドを使用してクラスターのステータスを表示できます。

redis-cli -p 7001 cluster nodes

#テスト

ノード 7001 に接続してデータを保存してみます。

# 连接
redis-cli -p 7001
# 存储数据
set num 123
# 读取数据
get num
# 再次存储
set a 1

結果は悲劇的です:

redis-cliクラスターの操作中に、パラメーターを追加する必要があります-c。

redis-cli -c -p 7001

今回はうまくいきます:

#ハッシュスロット

Redis は、各マスターノードを 0 ～ 16383 の範囲の合計 16384 スロット (ハッシュスロット) にマップします。クラスター情報を表示すると、次の情報が表示されます。

データキーはノードにバインドされず、スロットにバインドされます。Redis は、次の 2 つの場合に、キーの一部に基づいてスロット値を計算します。

key に含まれており {} 、{}少なくとも 1 文字が含まれており、{}の部分は有効な部分です
キーには含まれていません {}。キー全体が有効な部分です

::: たとえば、キーが num の場合は num に従って計算され、{itcast}num の場合は itcast に従って計算されます。計算方法は、CRC16 アルゴリズムを使用してハッシュ値を取得し、16384 の余りを取得し、その結果がスロット値です。:::

Redis はキーをどのインスタンスに配置するかをどのように決定しますか?

16384 スロットを異なるインスタンスに割り当てる
キーの有効部分に基づいてハッシュ値を計算し、16384 の余りを取得します。
残りはスロットとして使用されます。スロットが配置されているインスタンスを見つけるだけです。

同じ種類のデータを同じ Redis インスタンスに固定的に保存するにはどうすればよいですか?

このタイプのデータは同じ有効部分を使用します。たとえば、キーにはすべて { typeid } という接頭辞が付けられます。

#クラスターのスケーリング

クラスターのスケーリングとは、クラスターノードを動的に増減できることを意味します。クラスターのスケーリング中は、ノード間のスロットとスロット内のデータの移動も伴います。

redis-cli --cluster には、クラスターを操作するための多くのコマンドが用意されており、redis-cli --cluster help手順に従って確認できます。

新しいマスターノードをクラスターに追加し、num = 1000 を格納します。

ポート 7004 で新しい Redis インスタンスを起動します。

# 创建实例目录
mkdir 7004
# 创建 redis 服务
sed -i s/6379/7004/g 7004/redis.conf
# 运行 redis 服务
redis-server 7004/redis.conf

7004 を前のクラスターに追加し、マスターノードとして機能します

redis-cli --cluster add-node 192.168.150.101:7004 192.168.150.101:7001

キー番号を 7004 インスタンスに保存できるように、スロットを 7004 ノードに割り当てます。

# 重新分片
redis-cli --cluster reshard 192.168.150.101:7001
# 移动 3000 个插槽
How many slots do you want to move (from 1 to 16384)? 3000
# 接收插槽的 ID
What is the receiving node ID? 「这里输入 7001 的 ID 即可」
# 使用 done 结束
# 是否确认移动
Do you want to proceed with the proposed rehard plan (yes/no)? yes

#フェイルオーバー_

クラスター内のマスターがダウンするとどうなりますか?

1 つ目は、インスタンスが他のインスタンスとの接続を失うことです。
ダウンタイムの疑いがある場合
最後に、オフラインになり、スレーブを新しいマスターに自動的に昇格させることが決定されます。

ここでスレーブを選択する方法は、オフセット offset と id に従ってフィルタリングすることです。

データ移行

クラスターフェイルオーバーコマンドを使用すると、クラスター内の特定のマスターを手動でシャットダウンし、クラスターフェイルオーバーコマンドを実行するスレーブノードに切り替えることで、意識することなくデータ移行を実現できます。具体的なプロセスは次のとおりです。

手動フェイルオーバーは、次の 3 つの異なるモードをサポートします。

デフォルト: デフォルトのプロセス
強制: オフセットの一貫性チェックが省略されました
takeover: データの整合性、マスターステータス、その他のマスターの意見を無視して、ステップ 5 を直接実行します。

# RedisTemplate アクセス断片化クラスター

RedisTemplate の最下層は、レタスに基づくシャーディングクラスターのサポートも実装しており、使用される手順は基本的にセンチネルモードと同じです。

Redis のスターター依存関係を導入する
シャードクラスタアドレスを構成する
読み取りと書き込みの分離を構成する

センチネルモードと比較すると、次のように、断片化されたクラスターの構成のみが若干異なります。

spring:
  redis:
    cluster:
      nodes:    # 指定分片集群的每一个节点信息
        - 192.168.150.101:7001
        - 192.168.150.101:7002
        - 192.168.150.101:7003
        - 192.168.150.101:8001
        - 192.168.150.101:8002
        - 192.168.150.101:8003