KafkaOffsetMonitorji监控工具的配置及使用

一、 KafkaOffsetMonitor简述
KafkaOffsetMonitor，它是由Kafka开源社区提供的一款Web管理界面，是Kafka的一款客户端消费监控工具，用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，通过KafkaOffsetMonitor，我们可以很直观的知道，每个Partition的Message是否消费掉，有没有阻塞等。

通过web界面，可以方便的得知以下信息：
（1）对Consumer的消费监控，并列出每个Consumer的Offset数据
（2）保护消费者组列表信息
（3）每个Topic的所有Partition列表包含：Topic、Pid、Offset、LogSize、Lag以及Owner等
（4）浏览查阅Topic的历史消费信息

二、KafkaOffsetMonitor下载
KafkaOffsetMonitor托管在Github上，可以通过Github下载。
下载地址：https://github.com/quantifind/KafkaOffsetMonitor/releases
点击该链接后，跳转到该页面：
这里写图片描述

注意，在该页面下还有一个版本是： KafkaMonitor v0.2.0 d3.js visualizations，如下图所示：
这里写图片描述

三、 KafkaOffsetMonitor安装部署
KafkaOffsetMonitor的安装部署是较为简单，因为它把所有的资源都打包到一个JAR文件中了，因此不用配置文件，直接运行即可。下面为具体的操作流程：

（1）在Linux系统上面建立一个目录，用来存放 KafkaOffsetMonitor jar包。
我在 /usr/local/kafka/目录下创建一个目录名为kafkaOffsetMonitor的目录，用来存放KafkaOffsetMonitor jar包。
这里写图片描述

（2）使用 filezilla工具或其他的 linux远程连接工具，将下载的 KafkaOffsetMonitor-assembly-0.2.0.jar 包上传到该目录 /usr/local/kafka/kafkaOffsetMonitor 下。

（3）通过java编译命令来运行这个KafkaOffsetMonitor-assembly-0.2.0.jar包，具体命令如下：（Linux终端输入该命令后，回车，就会看到下面的信息）

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 192.168.158.147:2181 --port 8123 --refresh 5.seconds --retain 1.days

serving resources from: jar:file:/data/KafkaMonitor/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
2018-01-05 21:17:36.267:INFO:oejs.Server:jetty-7.x.y-SNAPSHOT
log4j:WARN No appenders could be found for logger (org.I0Itec.zkclient.ZkConnection).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2018-01-05 21:17:36.630:INFO:oejsh.ContextHandler:started o.e.j.s.ServletContextHandler{/,jar:file:/data/KafkaMonitor/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp}
2018-01-05 21:17:36.662:INFO:oejs.AbstractConnector:Started SocketConnector@0.0.0.0:8123

上面我们指定了 port 端口，如果没有指定端口，则默认会开启一个随机端口。对于上面的命令，这里做一个详细的说明：
参数说明:

zk ：zookeeper主机地址，如果有多个，用逗号隔开
port ：应用程序端口(注意是应用程序端口，而不是 zeekeeper 或broker 端口)
refresh ：应用程序在数据库中刷新和存储点的频率
retain ：在db中保留多长时间
dbName ：保存的数据库文件名，默认为offsetapp, 见下图：
这里写图片描述

每次执行上面的命令，比较麻烦，而且稍不注意就写错。因此为了更方便的启动KafkaOffsetMonitor，可以写一个shell 启动脚本来直接运行。我这里新建一个名为：start.sh的脚本，然后编辑这个脚本：

#!/bin/sh
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m  -cp KafkaOffsetMonitor-assembly-0.2.0.jar  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
                                              --port 8123 \
                                              --zk 192.168.158.147:2181 \
                                              --refresh 5.minutes \
                                              --retain 1.day >/dev/null 2>&1

然后保存退出，并且修改该 start.sh 文件的权限。

root@lxg:/usr/local/kafka/kafkaOffsetMonitor# chmod 777 start.sh

启动KafkaOffsetMonitor

root@lxg:/usr/local/kafka/kafkaOffsetMonitor# nohup /usr/local/kafka/kafkaOffsetMonitor/start.sh &
[1] 6551
root@lxg:/usr/local/kafka/kafkaOffsetMonitor# lsof -i:8123  //查看8123端口的具体信息
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    6325 root   16u  IPv6  26047      0t0  TCP *:radan-http (LISTEN) //说明8123已经启动并开启监听

四、 KafkaOffsetMonitor Web 查看kafka消费信息
在浏览器中输入: http://ip:port 即可以查看KafkaOffsetMonitor Web 界面,如下图
这里写图片描述

已经可以看到 KafkaMonitor的管理界面了。但是问题来了，不管怎么点击，这个界面都不会变化，不会相应用户的操作。很显然肯定是哪里出现了问题。查找了很久的资料才找出问题。如下所述：

注意：这里有个坑，从 github 上面下载的 jar 包是有问题的（因为缺少核心的js插件-angularjs,它并没有使用本地的插件,而是去google地址上下载,所以最终打开web时候，是没有任何反应的，除了有一个 KafkaOffsetMonitor 的背景界面。解决办法是用好压把KafkaOffsetMonitor-assembly-0.2.1.jar解压的一个文件夹,然后找到offsetapp,打开,编辑index.html,修改三个angular地址），

需要下载百度网盘的 jar 包：
链接：https://pan.baidu.com/s/1geEBEvT 密码：jaeu

在这里特别感谢该https://pan.baidu.com/s/1geEBEvT网盘分享的楼主。

使用从该百度网盘下载的KafkaOffsetMonitor-assembly-0.2.0.jar 包后，就可以成功的看到了kafka 消费的数据。如下图：
这里写图片描述

KafkaOffsetMonitorji监控工具的配置及使用

猜你喜欢