kafka コマンドの並べ替え

Kafka バージョン: 2.3.0
環境: centos7

注文

始める

# 启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# 启动kafka
bin/kafka-server-start.sh -daemon config/server.properties

停止

bin/kafka-server-stop.sh config/server.properties

消費者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic

• --from-beginning: 開始位置から消費します
• --group: コンシューマグループを指定します

消費量の詳細を表示する

bin/kafka-consumer-groups.sh \
--bootstrap-server 10.128.0.53:9092,10.128.0.54:9092,10.128.0.55:9092 \
--describe \
--group group_save_mysql

GROUP                 TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                     HOST            CLIENT-ID
group_save_clickhouse VehicleLoc      0          0               0               0               consumer-2-43bca1c6-2696-4894-9ba0-0a1994e9df8b /10.128.0.56    consumer-2
group_save_clickhouse VehicleLoc      1          0               0               0               consumer-2-43bca1c6-2696-4894-9ba0-0a1994e9df8b /10.128.0.56    consumer-2
group_save_clickhouse VehicleLoc      2          68473           68473           0               consumer-2-43bca1c6-2696-4894-9ba0-0a1994e9df8b /10.128.0.56    consumer-2
group_save_clickhouse originVehInfo   0          227             227             0               consumer-1-3810c5e9-281d-410c-bed7-461b33b5de13 /10.128.0.56    consumer-1
group_save_clickhouse originVehInfo   1          0               0               0               consumer-1-3810c5e9-281d-410c-bed7-461b33b5de13 /10.128.0.56    consumer-1
group_save_clickhouse originVehInfo   2          78335           78335           0               consumer-1-3810c5e9-281d-410c-bed7-461b33b5de13 /10.128.0.56    consumer-1

• CURRENT-OFFSET は、このパーティション内のこのコンシューマ インスタンスによって消費されるメッセージの現在の最大オフセットを示します。
• LOG-END-OFFSET は、このパーティション内の最新のメッセージのオフセットです。

消費オフセットを最新のものにリセットする

bin/kafka-consumer-groups.sh --bootstrap-server \
10.128.0.53:9092,10.128.0.54:9092,10.128.0.55:9092 --group group_originVeh_prod \
--topic originVehInfo -reset-offsets --to-latest --execute

GROUP                          TOPIC                          PARTITION  NEW-OFFSET     
group_originVeh_prod           originVehInfo                  0          4163505        
group_originVeh_prod           originVehInfo                  2          9438050        
group_originVeh_prod           originVehInfo                  1          3995722

プロデューサー

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic

ファイルメッセージをkafkaに書き込む

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic testTopic < test.txt

トピック

トピックの詳細を問い合わせる

bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic testTopic

Topic:testTopic    PartitionCount:1    ReplicationFactor:3    Configs:segment.bytes=1073741824   
    Topic: testTopic    Partition: 0    Leader: 1    Replicas: 2,1,0    Isr: 1,0,2  

• 結果の最初の行には、すべてのパーティションの概要が表示されます。次の各行は、パーティション内の情報を示します。パーティションが 1 つしかない場合は、1 行だけが表示されます。
• パーティション パーティション番号
• レプリカ レプリカ ブローカーID
• ISR レプリカが生きているブローカーID

クエリトピックリスト

bin/kafka-topics.sh --list --zookeeper localhost:2181

トピックの削除

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic testTopic

トピック パーティションとレプリケーション要素のコピーを作成します (クラスターの数を超えることはできません)

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic testTopic --partitions 2 --replication-factor 2

トピックへのデータ送信のログをクエリする

bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000038.log --print-data-log

ログファイルの検索方法：

• まず、server.properties で構成された log.dir パスに基づいて、ログが配置されているディレクトリを見つけます。
• 「トピック名-パーティション番号」ディレクトリを見つけて、次のように入力します。
• 多くのログ ファイルが時間ごとにセグメント化されていることがわかり、表示したい期間のログ ファイルが見つかります。
• コマンドを使用して表示します