Kafka的监控以及运维与Kafka-eagle的安装及安装出现的问题

监控以及运维

在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着业务的复杂性,增加Group和 Topic,那么我们使用Kafka提供命令工具,已经感到无能为力,那么Kafka监控系统目前尤为重要,我们需要观察 消费者应用的细节。

kafka-eagle概述

为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具,叫做 Kafka-eagle。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,

环境和安装

环境要求

需要安装jdk,启动zk以及kafka的服务

安装步骤

1.安装包
百度网盘链接:https://pan.baidu.com/s/1qRTAyZRGLSztVGY2rF0CxQ
提取码:nvei

2.解压
这里我们选择将kafak-eagle安装在第三台
直接将kafka-eagle安装包上传到node03服务器的/export/softwares路径下,然后进行解压
node03服务器执行一下命令进行解压

cd /export/softwares/
tar -zxf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/
cd /export/servers/kafka-eagle-bin-1.3.2
tar -zxf kafka-eagle-web-1.3.2-bin.tar.gz

3.准备数据库
kafka-eagle需要使用一个数据库来保存一些元数据信息,我们这里直接使用msyql数据库来保存即可,在node03服务器执行以下命令创建一个mysql数据库即可
进入mysql客户端

mysql -uroot -p
create database eagle;

4.修改kafak-eagle配置文件
node03执行以下命令修改kafak-eagle配置文件

cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/conf
vim system-config.properties
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=node01:2181,node02:2181,node03:2181
cluster2.zk.list=node01:2181,node02:2181,node03:2181


kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node03:3306/eagle
kafka.eagle.username=root
kafka.eagle.password=123456

5.配置环境变量

cd /etc/profile.d
vim kafka-eagle.sh
export KE_HOME=/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2
export PATH=:$KE_HOME/bin:$PATH

6.启动kafka-eagle


node03执行以下界面启动kafka-eagle
cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin
chmod 777 ke.sh
./ke.sh start

7.主界面
访问kafka-eagle
http://node03:8048/ke/account/signin?/ke/
用户名:admin
密码:123456
在这里插入图片描述

kafka-eagle500异常解决

1.停止kafkaEagle 进程
cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin
./ke.sh stop
2.修改kafkaEagle的启动脚本: bin/ke.sh
注释掉下面的几行内容:
# rm -rf $KE_HOME/kms/webapps/ke
# rm -rf $KE_HOME/kms/work
# mkdir -p $KE_HOME/kms/webapps/ke
# cd $KE_HOME/kms/webapps/ke
# ${JAVA_HOME}/bin/jar -xvf $KE_HOME/kms/webapps/ke.war
3.进入目录:
cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/kms/webapps/ke/WEB-INF/lib
rm -rf jackson-*.jar
4.重新启动KafKaEagle即可
发布了104 篇原创文章 · 获赞 154 · 访问量 7万+

猜你喜欢

转载自blog.csdn.net/weixin_45737446/article/details/105231928