Introdução à implantação da ferramenta Kafka UI

Teste de implantação de quatro ferramentas de UI: kafka Map, kafka eagle, Know Streaming e Kafka-UI

1、Mapa Kafka

Gerenciamento de vários clusters
Monitoramento do status do cluster (número de partições, número de cópias, tamanho de armazenamento, deslocamento)
Criação, exclusão e expansão de tópico (a exclusão requer configuração delete.topic.enable = true)
monitoramento de status do corretor
Visualizar e excluir grupos de consumidores
redefinir deslocamento
Consulta de mensagem (suporta exibição de String e JSON)
Enviar uma mensagem (suporta o envio de mensagens de string para o tópico e partição especificados)
Mensagens atrasadas (expandidas para permitir que o kafka suporte 18 níveis de mensagens atrasadas)

Pode ser instalado diretamente usando docker

docker run -d \
    -p 8080:8080 \
    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
    -e DEFAULT_USERNAME=admin \
    -e DEFAULT_PASSWORD=admin \
    --name kafka-map \
    --restart always dushixiang/kafka-map:latest

Endereço de acesso: http://ip:8080

Conta/senha: admin/admin

imagem

2、águia kafka

Totalmente funcional, um produto de código aberto fabricado por uma empresa nacional

Baixe o pacote de instalação do kafka-eagle

https://github.com/smartloli/kafka-eagle-bin/releases

Após a conclusão do download, kafka-eagleele será descompactado no diretório especificado;
```
cd /mydata/kafka/
tar -zxvf kafka-eagle-web-2.0.5-bin.tar.gz
```

/etc/profileAdicione variáveis de ambiente ao arquivo KE\_HOME;

vi /etc/profile
#在profile文件中添加
export KE_HOME=/mydata/kafka/kafka-eagle-web-2.0.5
export PATH=$PATH:$KE_HOME/bin

#使修改后的profile文件生效
source /etc/profile

Instale o MySQL e adicione um banco de dados ke, kafka-eagleque será utilizado posteriormente;

Modifique o arquivo de configuração $KE\_HOME/conf/system-config.properties, modifique principalmente a configuração do Zookeeper e a configuração do banco de dados, comente a configuração do sqlite e use o MySQL;

######################################
# multi zookeeper & kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181
######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048
######################################
# kafka sqlite jdbc driver address
######################################
# kafka.eagle.driver=org.sqlite.JDBC
# kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
# kafka.eagle.username=root
# kafka.eagle.password=www.kafka-eagle.org
######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://localhost:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

Use o seguinte comando para iniciar kafka-eagle;
```
$KE_HOME/bin/ke.sh start
```
Após a execução do comando, as seguintes informações serão exibidas, mas isso não significa que o serviço foi iniciado com sucesso. Você ainda precisa esperar um pouco;

imagem

Aqui estão mais alguns kafka-eaglecomandos úteis:

# 停止服务
$KE_HOME/bin/ke.sh stop

# 重启服务
$KE_HOME/bin/ke.sh restart

# 查看服务运行状态
$KE_HOME/bin/ke.sh status

# 查看服务状态
$KE_HOME/bin/ke.sh stats

# 动态查看服务输出日志
tail -f $KE_HOME/logs/ke_console.out

Após a inicialização bem-sucedida, você pode acessar diretamente e inserir sua conta e senha admin:123456.
Endereço de acesso: http://IP:8048/

imagem

3. Didi Know Streaming

Existem edição comunitária, edição empresarial e edição de serviço em nuvem, com funções completas

https://gitcode.net/mirrors/didi/LogiKM/-/tree/master

version: "2"
services:
  # *不要调整knowstreaming-manager服务名称，ui中会用到
  knowstreaming-manager:
    image: knowstreaming/knowstreaming-manager:latest
    container_name: knowstreaming-manager
    privileged: true
    restart: always
    depends_on:
      - elasticsearch-single
      - knowstreaming-mysql
    expose:
      - 80
    command:
      - /bin/sh
      - /ks-start.sh
    environment:
      TZ: Asia/Shanghai
      # mysql服务地址
      SERVER_MYSQL_ADDRESS: knowstreaming-mysql:3306
      # mysql数据库名
      SERVER_MYSQL_DB: know_streaming
      # mysql用户名
      SERVER_MYSQL_USER: root
      # mysql用户密码
      SERVER_MYSQL_PASSWORD: admin2022_
      # es服务地址
      SERVER_ES_ADDRESS: elasticsearch-single:9200
      # 服务JVM参数
      JAVA_OPTS: -Xmx1g -Xms1g
      # 对于kafka中ADVERTISED_LISTENERS填写的hostname可以通过该方式完成
#    extra_hosts:
#      - "hostname:x.x.x.x"
      # 服务日志路径
#    volumes:
#      - /ks/manage/log:/logs
  knowstreaming-ui:
    image: knowstreaming/knowstreaming-ui:latest
    container_name: knowstreaming-ui
    restart: always
    ports:
      - '80:80'
    environment:
      TZ: Asia/Shanghai
    depends_on:
      - knowstreaming-manager
#    extra_hosts:
#      - "hostname:x.x.x.x"
  elasticsearch-single:
    image: docker.io/library/elasticsearch:7.6.2
    container_name: elasticsearch-single
    restart: always
    expose:
      - 9200
      - 9300
#    ports:
#      - '9200:9200'
#      - '9300:9300'
    environment:
      TZ: Asia/Shanghai
      # es的JVM参数
      ES_JAVA_OPTS: -Xms512m -Xmx512m
      # 单节点配置，多节点集群参考 https://www.elastic.co/guide/en/elasticsearch/reference/7.6/docker.html#docker-compose-file
      discovery.type: single-node
      # 数据持久化路径
#    volumes:
#      - /ks/es/data:/usr/share/elasticsearch/data

  # es初始化服务，与manager使用同一镜像
  # 首次启动es需初始化模版和索引,后续会自动创建
  knowstreaming-init:
    image: knowstreaming/knowstreaming-manager:latest
    container_name: knowstreaming-init
    depends_on:
      - elasticsearch-single
    command:
      - /bin/bash
      - /es_template_create.sh
    environment:
      TZ: Asia/Shanghai
      # es服务地址
      SERVER_ES_ADDRESS: elasticsearch-single:9200

  knowstreaming-mysql:
    image: knowstreaming/knowstreaming-mysql:latest
    container_name: knowstreaming-mysql
    restart: always
    environment:
      TZ: Asia/Shanghai
      # root 用户密码
      MYSQL_ROOT_PASSWORD: admin2022_
      # 初始化时创建的数据库名称
      MYSQL_DATABASE: know_streaming
      # 通配所有host,可以访问远程
      MYSQL_ROOT_HOST: '%'
    expose:
      - 3306
#    ports:
#      - '3306:3306'
      # 数据持久化路径
#    volumes:
#      - /ks/mysql/data:/data/mysql

A implantação começa

docker-compose -f docker-compose.yml up -d

Acesso: Endereço: http://IP/

Conta/senha: admin/admin

imagem

4. UI Kafka

A IU é caracterizada por ser simples e fácil de usar, sem muitos recursos, e a interface é amigável. Embora a função seja relativamente simples, é suficiente para desenvolvimento e teste. Recomendado

https://gitcode.net/mirrors/provectus/kafka-ui

Pode ser implantado diretamente usando docker

docker run -p 8080:8080 \
	-e KAFKA_CLUSTERS_0_NAME=local \
	-e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092 \
	-d provectuslabs/kafka-ui:latest

Endereço de acesso: http://localhost:8080 .

imagem