kafka学习总结(七)——kafka监控-kafkaOffsetMonitor

1、kafkaOffsetmonitor简述

　KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道，每个Partition的Message是否消费掉，有木有阻塞等等。
　
　　这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据，我们可以通过浏览Web管理的相关模块，清楚的知道最近一段时间的消费情况。

　　该Web管理平台有以下功能：

对Consumer的消费监控，并列出每个Consumer的Offset数据
保护消费者组列表信息
每个Topic的所有Partition列表包含：Topic、Pid、Offset、LogSize、Lag以及Owner等等
浏览查阅Topic的历史消费信息

这些功能对于我们开发来说，已经绰绰有余了。

2、KafkaOffsetMonitor安装部署

2.1、下载安装包
百度云下载：https://pan.baidu.com/s/1hrHfLrA
github官网下载：https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.0/KafkaOffsetMonitor-assembly-0.2.0.jar

2.2、部署
KafkaOffsetMonitor的安装部署较为简单，所有的资源都打包到一个JAR文件中了，因此，直接运行即可，省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录，我这里新建一个kafka_monitor文件目录，然后我们在准备启动脚本，脚本内容如下所示：

#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
 com.quantifind.kafka.offsetapp.OffsetGetterWeb \
 --zk 192.168.174.137:2181 \
 --port 8089 \
 --refresh 10.seconds \
 --retain 1.day67

这里写图片描述

2.3、启动脚本
这里写图片描述

3、KafkaOffsetMonitor运行预览
这里写图片描述

这里写图片描述

4、总结
图中的一些参数的含义如下：

Topic：创建Topic名称
Partition：分区编号
Offset：表示该Parition已经消费了多少Message
LogSize：表示该Partition生产了多少Message
Lag：表示有多少条Message未被消费
Owner：表示消费者
Created：表示该Partition创建时间

kafka学习总结(七)——kafka监控-kafkaOffsetMonitor

猜你喜欢