Kafka クラスターがエラーを報告し、ブローカーが見つかりません

1. 問題の説明

特定のユーザー フィードバックでは、Kafka がここでメッセージの消費に失敗しました。コンシューマーが消費グループから追い出されたか、ブローカーのステータスが異常で接続できないことがエラーで報告されました。実際の検証ポートが確かに到達不能になった後、オン-サイト テスト検証でエラーが報告されました: エラー:
ここに画像の説明を挿入
ListGroups を送信するブローカーが見つかりませんでした... コーディネーターの検索に失敗しました。つまり、リーダーが見つかりません
ここに画像の説明を挿入

2. 分析と処理

2.1. 消費者情報や話題の状況をその場で確認

ここに画像の説明を挿入
ここに画像の説明を挿入
上記のように、欠落しているブローカーノードが見つからず、予期しないノードが存在することが判明し、異常な構成であることが確認されます。
ここに画像の説明を挿入

2.2. 消費テスト

ここに画像の説明を挿入

2.3. 許可の確認

ここに画像の説明を挿入
上図に示すように、グループ権限がないため、グループ権限を追加します。

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer
--authorizer-properties zookeeper.connect=172.18.1.112:2181 --add 
--allow-principal User:producer --operation Read --group test-group

ここに画像の説明を挿入
トピックの許可ユーザーがconsumer.propertiesで構成されたコンシューマー・ユーザー名と一致していないことが判明しました。

ここに画像の説明を挿入

2.4 冗長ボーカーの削除/オフライン、パーティションの移行

ブローカー 1 (172.18.1.112)
ブローカー 2 (172.18.1.162)
ブローカー 3 (172.18.1.197)
ブローカー 4 (172.18.1.198) -------> ノードをオフラインにします

#topic情况查看
./bin/kafka-topics.sh --describe --zookeeper 172.18.1.198:2181 --topic YWPT-*
#编写 kafka_rebalance_replicas.json

https://www.ordome.com/454
https://www.ordome.com/36
https://blog.csdn.net/qq_32907195/article/details/126236204

おすすめ

転載: blog.csdn.net/ximenjianxue/article/details/131123973