Kafka、ノード サービス、廃止 (ノードの追加とノードの削除) の概要 (12)

1. ノードサービス

1. いずれかのノードのクローンを作成して準備します
。 2. 新しいノードの kafka がログ フォルダーとデータ フォルダーによって削除されている場合。
3. /etc/hosts を変更して新しいノード マッピングを構成します。

1.1 負荷分散操作の実行

vim topics-to-move.json

{"topic": "主题名称"}

{
    
    
 "topics": [
	 {
    
    "topic": "first"}
	 ],
	 "version": 1
}

負荷分散計画を生成するkafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topic-to-move.json --broker-list --generate
に注意してください
"0,1,2,3"

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate

これをストレージ プランとしてコピーすることも、カスタマイズすることもできます

1.2 コピーストレージプランの作成

vim  increase-replication-factor.json

ストレージ計画を実行する

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute

1.3 コピー ストレージ プランを確認します。

kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify

トピックの詳細を表示する

 kafka-topics.sh --bootstrap-server hadoop100:9092 --describe --topic first

2. ノードの廃止

1.1 負荷分散操作の実行

vim topics-to-move.json

{"topic": "主题名称"}

{
    
    
 "topics": [
	 {
    
    "topic": "first"}
	 ],
	 "version": 1
}

負荷分散計画を生成する
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topic-to-move.json --broker-list "0,1,2"--generateに注意してください

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2" --generate

2.2 コピーストレージプランの作成

vim  increase-replication-factor.json

ストレージ計画を実行する

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute

ストレージ計画を実行する

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute

2.3 コピー ストレージ プランを確認します。

kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify

トピックの詳細を表示する

 kafka-topics.sh --bootstrap-server hadoop100:9092 --describe --topic first

終了したいノードを閉じます

$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.propertie