カフカクラスタ管理

背景とストップカフカサービス

 

注:本番環境では、推奨-daemonパラメータは、その後の使用で、カフカ開始楽屋nohup&

あなたがしたくない場合はkafka-server-stop.sh 、マシン上のすべてのカフカブローカーを閉じるために、あなたは別の方法を使用することができ、最初jpsのビューのPIDカフカ、次に実行するps ax | grep -i 'kafka/Kafka' | grep java | grep -v grep | awk '${print $1}'PIDカフカが最終的に実行見つけるために、自分自身にkill -s TERM $PID近いブローカーを。

トピック管理/コマンドラインスクリプト

トピックを作成します

  • 自動パーティションの割り当て
ビン/カフカ-トピック。SH --create --zookeeperはlocalhost:2181 --partitions 6 --replication因子3 
--topicトピックマネージャテスト--config delete.retention.ms = 2.592億

最後のパラメータは、日数が3日齢を記録しています

  • 手動割り当てられたパーティション
ビン/カフカ-トピック。SH --create --zookeeperはlocalhost:2181 --topicトピックマネージャ-TEST2 --replica割り当て01120212

3つのクラスタは、シリアル番号0,1,2、4つのパーティション、レプリカ割り当てによって指定された2つのコピーを仲介あると仮定

削除トピック

ビン/カフカ-トピック。SH --delete -zookeeperはlocalhost:2181 --topicトピック・マネージャ試験
トピックトピック・マネージャー・テストは、削除対象としてマークされています。
注:delete.topic.enableがtrueに設定されていない場合、これは影響はありません。

セットdelete.topic.enable =本当に削除真の意志する必要がある、唯一の削除のマークが付けられ、ここにマーク

トピックのリストを照会

ビン/カフカ-トピック。SH --zookeeperはlocalhost:2181 --list

トピック詳細を照会

ビン/カフカ-トピック。SH --zookeeperはlocalhost:2181 --describe --topicトピック・マネージャー-test2の
トピック:トピック・マネージャ-TEST2 PartitionCount:4 ReplicationFactor:2 Configsに:
トピック:トピック・マネージャ-TEST2パーティション:0リーダー:0レプリカ:0,1 ISR:0,1
トピック:トピック・マネージャーTEST2パーティション:1リーダー: 1つの複製:1,2 ISR:1,2
トピック:トピック・マネージャ-TEST2パーティション:2リーダー:0レプリカ:0,2 ISR:0,2
トピック:トピック・マネージャーTEST2パーティション:3リーダー:1つの複製:1 、ISR 2:1,2

kafka-configs.shスクリプトビューを使用します

ビン/カフカ-のconfigs。SH --describe --zookeeperはlocalhost:2181 --entity型トピック--entity名トピック-マネージャー-test2の

すべてのトピックの詳細を参照してください。

ビン/カフカ-トピック。SH --zookeeperはlocalhost:2181 --describe

修正toipc

カフカは、このような話題のパーティションの数、及びトピックレベルのレプリカ因子パラメータセットとして特定のパラメータをユーザに可能にします

  • 4〜10のパーティションからトピックパーティション増加
ビン/カフカ-トピック。SH --alter --zookeeperはlocalhost:2181 --partitions 10 --topicトピック・マネージャー-test2の

これは、パーティションの削減をサポートしていません。

  • 推奨されるkafka-configs.sh設定は、以下のトピックパラメータに追加されcleanup.policy=compactた構成
ビン/カフカ-のconfigs。SH --zookeeperはlocalhost:2181 --alter --entity型トピック
--entity名トピック-マネージャー-test2の--add-config設定cleanup.policy =コンパクト
  • パラメータの成功を確認してください
ビン/カフカ-のconfigs。SH --zookeeperはlocalhost:2181 --describe --entity型トピック--entity名トピック-マネージャー-test2の

削除トピックの設定

ビン/カフカ-のconfigs。SH --zookeeperはlocalhost:2181 --alter --entity型トピック--entity名トピック-マネージャー-test2の--delete-config設定prealloocate

付録

  • 共通の話題・レベル・パラメータと意味
パラメータ名 パラメータ意味
cleanup.policy 話題保持ポリシー
compression.type 圧縮タイプ指定されたトピック
max.message.bytes 最大の長さを受け取ることができトピックメッセージブローカ
min.insync.replicas 指定ブローカISRの数が最小受信メッセージトピックを必要と端= 1を使用して生産したACK
事前割り当て トピックログファイルのストレージスペースのために事前に割り当てるかどうかを
retention.ms ここでは、単一パーティションのメッセージの最大時間を保持するために、指定します
segment.bytes ログセグメントファイルのトピックのサイズを指定します。
unclean.leader.election.enable 汚れ選出されたトピックを有効にするかどうか

OpenメソッドJMXポート

カフカの健康のリアルタイム監視のために、必要がJMXポートを開くには

レセプションには、ブローカーを開始します。 JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties

背景ブートブローカー: export JMX_PORT=9997 bin/kafka-server-start.sh -daemon config/server.properties

 

おすすめ

転載: www.cnblogs.com/fubinhnust/p/11967930.html