Kafka Manager部署和使用

版权声明:欢迎转载,转载请注明出处。 https://blog.csdn.net/x541211190/article/details/81191608

一.前言:

新版kafka监控平台的哪家强?对比kafka Manager和kafka Monitor 之后,最终还是选择了Kafka Manager。

因为kafka Manager支持对Kafka的主题的增删改查操作,和消费者对数据的消费情况。而kafka Monitor对kafka新版(1.0版后),支持不太好,比如在Kafka1.1版中,用代码创建的Topic,地址没有直接绑定zookeeper,而是通过的bootstrap.server指定的Broker地址,间接绑定到zookeeper,在Kafka Monitor中却查看不到这些Topic,果断放弃了使用kafka Monitor。

二.Kafka Manager在Centos上部署

1.下载

①选择版本

截止到2018年8月,最新版为1.3.3.18。获取下载地址:

在centos中的usr/local下:

weget https://github.com/yahoo/kafka-manager/archive/1.3.3.18.tar.gz

②下载完后解压:

tar -zxfv 1.3.3.18.tar.gz

2.编译

①修改镜像,提高下载速度:

cd ~
mkdir .sbt
vim repositories

i,并将下面的镜像地址拷贝进去

[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

然后按Esc,输入:wq repositories

②编译

对下载下来的代码进行编译,需借助Play框架。

进入刚才解压后的目录kafka-manager-1.3.3.18,然后执行命令:

./sbt clean dist

注:若出现sbt的错误,可能是没有安装sbt,需要安装一下:

yum install sbt

然后重新执行

./sbt clean dist

在编译的过程中,日志中有warn可以,但不要有error。有错误则检查解决。

3.运行

将编译好的Kafka Manager,运行起来。

①解压

创建目录:

在taget目录中运行会出现jar包混淆的错误,所以尽量拷贝到/user/local/下,这样不受影响。

cd /user/local/

mkdir kafkaManager

进入编译目录/usr/local/kafka-manager-1.3.3.18/target/universal,将kafka-manager-1.3.3.18.zip 拷贝到刚创建的文件夹中: /user/local/kafkaManager

cd /user/local/kafkaManager
mv /usr/local/kafka-manager-1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip   /user/local/kafkaManager

然后解压.zip文件:

unzip kafka-manager-1.3.3.18.zip

若提示没有unzip命令,安装一下:yum install unzip

②配置zookeeper地址

cd ./kafka-manager-1.3.3.18/conf

vim application.conf

kafka-manager.zkhosts="localhost:2181"此行中的localhost,改为你的Zookeeper服务器的IP地址,保存退出即可。

③启动

进入bin 文件夹,然后运行

cd /usr/local/kafkaManager/kafka-manager-1.3.3.18/bin
nohup ./kafka-manager &

解释:这样运行会让kafkaManager在后台运行了,如果想查看运行日志,看看有没有报错,可以执行:

cd /usr/local
tail -100 nohup.out

三.使用

1.启动

成功运行后,通过访问kafka Manager所在服务器的IP:9000端口,即可使用了。

如:10.10.10.10:9000

一定是kafka Manager所在服务器IP地址,不是上面配置文件中的ZK的IP地址。端口默认是9000。

如果想修改运行端口,先杀死上面的进程或者删除/usr/local/kafkaManager/kafka-manager-1.3.3.18/RUNNING_PID文件后,执行:

./kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=9001

2.配置cluster

创建一个cluster:

Cluster Zookeeper Hosts地址配置为Zookeeper地址,和配置文件中的地址保持一致,全部打钩,保存。

查看topic详情和消费信息:
image

猜你喜欢

转载自blog.csdn.net/x541211190/article/details/81191608