kafka集群管理工具kafka-manager 安装部署

kafkamanger github地址:https://github.com/yahoo/kafka-manager

官方说明

Kafka Manager

A tool for managing Apache Kafka.

It supports the following :

  • Manage multiple clusters
  • Easy inspection of cluster state (topics, consumers, offsets, brokers, replica distribution, partition distribution)
  • Run preferred replica election
  • Generate partition assignments with option to select brokers to use
  • Run reassignment of partition (based on generated assignments)
  • Create a topic with optional topic configs (0.8.1.1 has different configs than 0.8.2+)
  • Delete topic (only supported on 0.8.2+ and remember set delete.topic.enable=true in broker config)
  • Topic list now indicates topics marked for deletion (only supported on 0.8.2+)
  • Batch generate partition assignments for multiple topics with option to select brokers to use
  • Batch run reassignment of partition for multiple topics
  • Add partitions to existing topic
  • Update config for existing topic
  • Optionally enable JMX polling for broker level and topic level metrics.
  • Optionally filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.

Cluster Management

使用kafka-manger

1.源码下载构建(kafka-manager基于sbt 管理工具进行构建 so 需要sbt 环境)

2.下载release版本进行构建 

3.zip直通车下载进行解压 即可使用(推荐 百度网盘 (提供两个不同版本 一个1.3 一个2.0 按需要使用)链接:https://pan.baidu.com/s/14PA1-V7fMUBTr-3-HeUi7A  密码:vsx7)

构建完成后 可以直接在如下位置找到  kafka-manager-2.0.0.2下载位置/target/universal/kafka-manager-2.0.0.2.zip

进行解压

解压后可以看到如下文件夹

进行启动修改 conf 下配置在

在application.conf 进行修改 zk地址 单个就配置单个 集群配置如下

kafka-manager.zkhosts="localhost:2181,localhost:2182,localhost:2183"

# kafka-manager.zkhosts=${?ZK_HOSTS} 将这个进行注释

 

修改完成后进行启动

启动方式

1.直接进行启动 默认端口9000 会自动去默认路径查找配置文件

 

$ ./bin/kafka-manager

 2.指定配置文件 端口记性启动 

$ ./bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080

我们这里进行简单暴力的启动 ./bin/kafka-manager

启动成功会看到如下日志

浏览器输入 localhost:9000 

部署成功

 #20191218 新增 查看本地的集群节点

 

进入到如下界面

 

填入集群名称 还有zk地址 以及 需要jmx认证的话 配置 账号密码 

其他的配置可以按需调整

然后选择保存(save)

可以查看到到本地的集群的 

 

点击localhost 查看本地的集群

 

点击brokers 后面的3  可以查看每个集群  

 

点击topic右边的 可以查看 集群内的topic

 

再点击每个topic 可以查看topic

 

同时也可以创建topic

功能就简单介绍到这里  其他功能供各位探索

参考 kafka-manager https://github.com/yahoo/kafka-manager

 

おすすめ

転載: blog.csdn.net/a15835774652/article/details/102834160