Kafka常用控制台命令

查看kafka版本信息

find /opt/kafka/libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

示例:kafka/libs/kafka_2.12-2.2.0.jar 前面2.12为Scala版本 后面2.2.0为kafka版本

脚本在kafka安装的bin目录下

启动kafka

./kafka-server-start.sh -daemon ../config/server.properties

创建topic:

./kafka-topics.sh --create --zookeeper 172.19.1.58:2181 --replication-factor 1 --partitions 2 --topic aas-audit-log

--replication-factor代表每个分区在集群中复制的份数,后面的值要小于kafka集群中服务器数量,--partitions表示创建主题的分区数量,一般分区越大,性能越好,--topic后边儿就是创建主题的名字

修改主题分区
./kafka-topics.sh --alter --zookeeper localhost:2181 --topic aas-audit-log --partitions 2


查看所有的topic:
./kafka-topics.sh --list --zookeeper 172.19.1.58:2181


删除topic(需要配置服务文件)

./kafka-topics.sh --delete --zookeeper 172.19.1.58:2181 --topic aas-audit-log


启动KafkaOffsetMonitor

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk 172.19.1.58:2181 --port 8080 --refresh 10.seconds --retain 2.days


查看kafka偏移量

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.19.1.58:9092 --topic aas-audit-log --time -1


查看kafka消费情况

./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --describe --group myContainer


含权限查看kafka消费情况
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --describe --group myContainer --command-config ../config/sasl-plain.properties

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
主题 分区 当前已消费的条数 总消费条数 未消费的条数

查看相应文件内容可以通过 kafka-run-class.sh 脚本查看 .log :

./kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs-2/aas-audit-log-0/00000000000000000000.log


生产者
./kafka-console-producer.sh --broker-list 172.19.1.58:9092 --topic aas-audit-log

消费者
./kafka-console-consumer.sh --bootstrap-server 172.19.1.58:9092 --topic aas-audit-log


1.有可能是你的server.properties配置的问题,其中的每一台机子的

broker.id=1
都要不相同


2.你可能没启动kafka中的broker

进入{zookeeper_home}/bin目录下

./zkCli.sh

然后

ls /brokers/ids

你会看到自己的节点数(是否是和你启动的是一样的)

如果不一样,那就重新启动kafka


查看消费记录
./kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server 172.19.1.58:9092 --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning

含权限
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --command-config ../config/sasl-plain.properties --list

猜你喜欢

转载自www.cnblogs.com/hnusthuyanhua/p/12407832.html
今日推荐