Kafka运维操作指南

作者：石文
时间：2018-12-14

---

1.启停，进程状态

#启动。若要开启JMX端口需要加载环境变量
su hadoop
./bin/kafka-server-start.sh -daemon ./config/server.properties
#停止。
su hadoop
./bin/kafka-server-stop.sh

2.topic相关

#创建topic.默认数据保留时间为7天，配置<replication-factor>至少为为2
./bin/kafka-topics.sh --create --zookeeper $ZK_ADDR --replication-factor 2 --partitions N --topic ${topic_name}
#创建topic时指定代理
./kafka-topics.sh --zookeeper $ZK_ADDR --creat --topic --topic ${topic_name} --replica-assignment 0:1,1:2,2:3,3:4,4:0
#删除topic.不会立马删除，只会标记为删除<- marked for deletion>
./bin/kafka-topics.sh --delete --zookeeper $ZK_ADDR --topic ${topic_name}
#查看topid的详细信息，只有非默认配置才会展示出来，不展示的都将是默认配置值。
./bin/kafka-topics.sh --describe --zookeeper $ZK_ADDR --topic ${topic_name}
#topic分区扩容,值能大于现有的partition的值，且这个值为增加到的值，不是增加多少的值.
./bin/kafka-topics.sh --alter --zookeeper $ZK_ADDR --topic ${topic_name} --partitions ${partition_number}
#修改topic消息的保留时间.默认为7天，单位是ms.
./bin/kafka-configs.sh --alter --zookeeper $ZK_ADDR --entity-type topics --entity-name ${topic_name} --add-config retention.ms=${xxxx}

3.集群相关

#leade选举.集群自己进行再选举
./bin/kafka-preferred-replica-election.sh --zookeeper $ZK_ADDR
#leader选举.自定义leader.json文件
./bin/kafka-preferred-replica-election.sh --zookeeper $ZK_ADDR --path-to-json-file leader.json
##leader.json文件
{"partitions":[
  {"topic": "foo", "partition": 1},   
  {"topic": "foobar", "partition": 2}
  ]
}
#查看集群中有多少个partitons没有leader
./kafka-topics.sh --describe --zookeeper $ZK_ADDR --under-replicated-partitions

4.生产者

/export/work/kafka_9092/bin/kafka-console-producer.sh –broker-list localhost:9092 –topic ${topic_name}

/export/work/kafka_9092/bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –new-consumer –from-beginning –topic ${topic_name} | grep ${message-key-word}

5.消费者

/export/work/kafka_9092/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --new-consumer --from-beginning --topic ${topic_name}

/export/work/kafka_9092/bin/kafka-consumer-groups.sh --list --bootstrap-server localhost:9092

/export/work/kafka_9092/bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group ${consumer-group}

/export/work/kafka_9092/bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group ${consumer-group}
#查看消费者延迟
bin/kafka-consumer-groups.sh --bootstrap-server ip-188-33-33-31.eu-central-1.compute.internal:9092,ip-188-33-33-32.eu-central-1.compute.internal:9092,ip-188-33-33-33.eu-central-1.compute.internal:9092 --describe --group africaBetMirrorGroupTest --new-consumer