Tutorial Kafka de implementación súper detallada del sistema Centos7

La implementación de Kafka es una tarea compleja que involucra múltiples pasos y configuraciones. El siguiente es un tutorial súper detallado sobre la implementación de Kafka en el sistema CentOS 7:

1. Asegúrese de que el entorno del sistema:

   • Asegúrese de que el sistema CentOS 7 se haya instalado y configurado con privilegios de administrador.

   • Asegúrese de que el entorno Java esté instalado, puede usar el siguiente comando para verificar la versión de Java:

     java -version

2. Descarga y descomprime Kafka:

   • Para abrir la terminal, puede usar las teclas de método abreviado Ctrl+Alt+T.

   • Ingrese el directorio donde desea instalar Kafka, como:

     cd /opt

   • Descargue el paquete comprimido binario de Kafka:

     sudo curl -LO https://downloads.apache.org/kafka/<kafka-version>/kafka_<scala-version>-<kafka-version>.tgz

     se  <kafka-version>reemplazará con la versión de Kafka que desea descargar, se  <scala-version>reemplazará con la versión de Scala, por ejemplo  2.13, .

   • Extraiga el archivo descargado:

     sudo tar xvf kafka_<scala-version>-<kafka-version>.tgz

   • Ingrese al directorio descomprimido:

     cd kafka_<scala-version>-<kafka-version>

3. Configurar cuidador del zoológico:

   • Kafka confía en Zookeeper para administrar los metadatos del clúster.

   • Cree un nuevo archivo de configuración de Zookeeper en el directorio de configuración de Kafka:

     sudo cp config/zookeeper.properties config/zookeeper.properties.bak
     sudo nano config/zookeeper.properties

   • En el archivo de configuración, configura lo siguiente según tus necesidades:

     dataDir=/tmp/zookeeper  # Zookeeper数据存储目录
     clientPort=2181        # Zookeeper客户端连接端口

4. Despliegue Kafka:

   • Cree un nuevo archivo de configuración de Kafka en el directorio de configuración de Kafka:

     sudo cp config/server.properties config/server.properties.bak
     sudo nano config/server.properties

   • En el archivo de configuración, configura lo siguiente según tus necesidades:

     broker.id=0                      # Kafka节点ID
     listeners=PLAINTEXT://:9092      # 监听地址和端口
     log.dirs=/tmp/kafka-logs         # Kafka日志存储目录

5. Iniciar Zookeeper:

   • Abra una ventana de terminal y cambie al directorio de Kafka.

   • Inicie el servidor Zookeeper:

     bin/zookeeper-server-start.sh config/zookeeper.properties

6. Inicie el nodo de Kafka:

   • Abra otra ventana de terminal y cambie al directorio de Kafka.

   • Inicie el servidor de nodos de Kafka:

     bin/kafka-server-start.sh config/server.properties

7. Crea un tema:

   • Abra otra ventana de terminal y cambie al directorio de Kafka.

   • Crear un nuevo tema:

     bin/kafka-topics.sh --create --topic <topic-name> --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

     Reemplace  <topic-name>con el nombre del tema que desea crear.

8. Publicar y suscribirse a mensajes:

   • Abra una ventana de terminal e ingrese al directorio de Kafka.

   • Publicar un mensaje en un tema:

     bin/kafka-console-producer.sh --topic <topic-name> --bootstrap-server localhost:9092

   • En otra ventana de terminal, suscríbase a los mensajes del tema:

     bin/kafka-console-consumer.sh --topic <topic-name> --bootstrap-server localhost:9092 --from-beginning

Este es un tutorial básico de Kafka para la implementación del sistema CentOS 7. Según sus necesidades, se pueden realizar otros pasos de configuración y ajuste, como la configuración del clúster, la configuración de seguridad, el ajuste del rendimiento, etc. Se recomienda consultar la documentación oficial de Kafka para obtener pautas y documentación más detalladas.