Después de comprender los conceptos básicos de Kafka , crear un clúster de Kafka y usar comandos básicos , ** comprender en profundidad la arquitectura de Kafka [flujo de trabajo y mecanismo de almacenamiento, estrategia del productor, estrategia del consumidor, administración de Zookeeper] **, instalemos uno Se puede decir que una herramienta de monitoreo para monitorear la dinámica de Kafka es un viaje al pozo.
Descarga Kafka-eagle
La descarga es muy simple, simplemente descárguelo del sitio web oficial y descomprímalo. Una vez completada la descarga, puede ver el siguiente directorio:
Encuentra la ruta de instalación de jdk
Debido a que está utilizando el jdk que viene con Centos, no sabe dónde está la ruta. Puede usar el siguiente comando para obtenerla:
which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java
La ruta predeterminada es :, /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64pero incluso esta configuración posterior de kafka-eagle no es exitosa, porque el jre incorporado solo, no hay un comando de inicio. Entonces use el siguiente comando para extraer la actualización
yum install java-devel
Configurar variables de entorno
Abra el archivo /etc/profiley agregue la siguiente configuración al final:
export KE_HOME=/soft/kafka-eagle
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export PATH=$PATH:$KE_HOME/bin:$JAVA_HOME/bin
Ejecutar después de la modificaciónsource /etc/profile
Modificar la configuración de inicio de Kafka
Modifique el puerto JMX en el siguiente directorio para permitir que eagle se comunique:export JMX_PORT="9999"
Modificar el archivo de configuración de Kafka-eagle
Busque la dirección del archivo de configuración y modifíquela.
Modifique la configuración del clúster:
######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.5.101:2181,192.168.5.102:2181,192.168.5.103:2181
Modificar la configuración de la base de datos
######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/soft/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=www.kafka-eagle.org
Inicio Kafka-eagle
Antes de iniciar el primer clúster de zookeeper y kafka comenzó , primero modifique los permisos de lanzamiento del archivo en el inicio, vaya al directorio bin del siguiente-Eagle kafka sudo chomd 777 ke.sh, después de que se haya iniciado la finalización de la implementación ke.sh start, después de que se pueda ver un inicio exitoso:
dirección de acceso: http://192.168.5.101:8048/kever inicio Resultado:
ingrese la contraseña de la cuenta e ingrese a la interfaz para ver:
Ver descripción general del tema y del corredor
Ver información del corredor:
Ver información detallada del tema
Puedes ver la lista de temas.
Ingresa uno de ellos y podemos ver los detalles del tema:
Ver información del clúster
Puede ver el tema que creamos antes, y también puede ver la información del clúster
Ver información del consumidor
Creamos un consumidor: bin/kafka-console-consumer.sh --bootstrap-server 192.168.5.102:9092 --from-beginning --topic tml-secondy luego puede ver la información del consumidor
