【Kafka七】使用Kafka Consumer Offset Monitor 进行Kakfa监控

1. 获取Kafka Consumer Offset Monitor安装包

http://pan.baidu.com/s/1kT5KeQ7

2. Kafka Consumer Offset Monitor启动脚本kafkacom.sh

java -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8086 --refresh 10.seconds --retain 7.days 1> kakfa.offset.monitor.logs.stdout.log 2>kafka.offset.monitor.logs.stderr.log &

 

3.启动Zookeeper、Kafka Brokers

4. 启动Kafka Consumer Offset Monitor

sh kafkacom.sh

5. 在浏览器中访问如下地址打开监控界面:

http://192.168.26.140:8086

6. 启动Producer和Consumer,写20000万条消息,刷新浏览器查看offset的变化,可以看到

 

 

7. Consumer Offsets表各个列的含义:

  • Topic:Topic的名字
  • Partition:Topic包含的分区,上例中,learn.topic.p8.r2有8个分区
  • Offset:Kafka Consumer已经消费的分区上的消息数
  • logSize: 已经写到该分区的消息数
  • Lag:还有多少消息数未读取(Lag = logSize-Offset)
  • Owner: 该分区位于哪个Broker上,上例中有三个Broker(consumer group name + hostname + broker.id)
  • Created: 分区创建时间
  • Last Seen: Offset和logSize数字最后一次更新时间

8. 注意的问题:

刚开始启动时,发现Lag为负数,这明显不对,但是当使用Producer和Consumer进行读写Kafka后,数字显示正常

参考:http://blog.csdn.net/lizhitao/article/details/27199863

扫描二维码关注公众号,回复: 549163 查看本文章

猜你喜欢

转载自bit1129.iteye.com/blog/2197600