Instalación y uso básicos de Kafka

Instalación y uso básicos de Kafka

Dirección del sitio web oficial: http://kafka.apache.org/

1. Características

• Alto rendimiento y baja latencia
• Escalabilidad, soporte de expansión en caliente del clúster
• Persistencia, confiabilidad, persistencia de mensajes en el disco local, respaldo de datos de soporte
• Tolerancia a fallas, lo que permite que los nodos del clúster fallen
• Alta simultaneidad, admite que miles de clientes lean y escriban al mismo tiempo

2. Escenarios de uso

• Recolección de registros
• Sistema de mensajes
• Indicadores operacionales
• Seguimiento de la actividad del usuario
• Transmisión

3. Conceptos relacionados

1. Productor
2. Nodo del servidor del agente
3. El tema clasifica los datos
4. dividir
5. Consumidor
6. réplica
7. Zookeeper se utiliza para mantener y coordinar a los intermediarios. Después de que el intermediario cambia en el sistema kafka, el guardián del zoológico transmite para notificar a los productores y consumidores
8. El ID de compensación del mensaje de compensación se utiliza para identificar la posición de los datos en una partición.

4. Descarga y usa

4.1 cuidador del zoológico

Enlace de descarga: enlace: https://pan.baidu.com/s/1ZGzO9NzS00Si2TctHbaCIQ Contraseña: hukj
Descomprima
tar -zxvf apache-zookeeper-3.5.9.tar.gz

y configure en la máquina virtual

1. Cree un directorio de datos
   sudo mkdir data
   y modifique el grupo y el usuario para
   
   modificar los permisos

sudo chmod -R 777 datos

Vaya a datos y use pwd para obtener el directorio actual actual
2. Vaya al directorio conf

Modifique zoo_sample.cfg a zoo.cfg

Edite y modifique el directorio de datos

. Descripción de los parámetros restantes

3. Ingrese al directorio bin

4. Inicie zookeeper

Ejecute zkserver.sh de

acuerdo con el mensaje e ingrese las instrucciones para comenzar
./bin/zkServer.sh --config ./conf start

4.2 descarga e instalación de kafka

Dirección de descarga, versión 2.7.0:
Enlace: https://pan.baidu.com/s/1f6rtRqtLGiqQ80KBgAif3g Contraseña:
descomprima 8gc5 en el directorio que desee

1. Crear carpeta de registro

2. Modificar los parámetros de configuración server.properties

Suelta el puerto

3. Iniciar Kafka
   bin/kafka-server-start.sh config/server.properties
   

Aparece el siguiente mensaje para indicar un inicio exitoso

4. Crea una nueva ventana para verificación
   

5. Producción y consumo

5.1 Crear un tema

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic hello --partitions 2 --replication-factor 1

Verifique que el tema se haya creado correctamente
bin/kafka-topics.sh --zookeeper localhost:2181 —list

Ver los detalles del tema

bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic hello

5.2 Iniciar consumo para recibir mensajes

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic hello
9092 es el puerto de servicio de Kafka

5.3 Iniciar el lado de la producción

Crea una nueva ventana
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic hello

5.4 Verificación de mensajes

Realice la entrada de mensajes en el lado de la producción y vea el resultado de la salida de información en el lado del consumidor

6. Problema

Problema de falla de inicio de Zookeeper

1. Verifique el archivo de registro y descubra que falta la clase:

2. Permisos de archivos y problemas del usuario

3. Error en el directorio de datos en el archivo de configuración