Construcción del entorno de clúster Kafka_2.12-3.1.0

1. Descripción ambiental

---

La versión actual de Kafka aún requiere el uso de zookeeper para almacenar clústeres, intermediarios, consumidores y otra metainformación relacionada. La versión actual, concretamente la versión 2_12_3.1.0, tiene zookeeper integrado. : Si elige 故针对zookeeper环境有两种utilizar
1. 使用内置的zookeeper
el zookeeper , debe modificar la configuración en el directorio de instalación de Kafka. El archivo zookeeper.properties en el directorio
2. 使用外部的zookeeper
requiere que el clúster zookeeper esté instalado de antemano.

在本案例中，我们采用了外部的zookeeper, es decir, se creó un entorno de cuidador del zoológico de clúster de tres nodos, que se utilizó como repositorio de metadatos de la versión Kafka2_12_3.1.0.

1. La configuración del entorno del cuidador del zoológico es la siguiente :

nodo	ruta de instalación	ruta dataDir
hadoop002	/entrenamiento/zookeeper-3.4.5	/entrenamiento/zookeeper-3.4.5/tmp
hadoop003	/entrenamiento/zookeeper-3.4.5	/entrenamiento/zookeeper-3.4.5/tmp
hadoop004	/entrenamiento/zookeeper-3.4.5	/entrenamiento/zookeeper-3.4.5/tmp

2. La configuración del entorno Kafka es la siguiente :

nodo	ruta de instalación	Ruta de registro
hadoop002	/formación/kafka-cluster/	/formación/kafka-cluster/kafka-logs/
hadoop003	/formación/kafka-cluster/	/formación/kafka-cluster/kafka-logs/
hadoop004	/formación/kafka-cluster/	/formación/kafka-cluster/kafka-logs/

2. Pasos de instalación

---

1. Cargue el paquete de instalación de Kafka, descomprímalo e instálelo

   tar -zvxf kafka_2.12-3.1.0.tgz -C /training
   
        
        
         
         
   
        
        
         
         
   

2. Para modificar server.propertiesel archivo, solo necesita modificar los siguientes elementos:

   broker.id=0
   log.dirs=/training/kafka-cluster/kafka-logs
   zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
   group.initial.rebalance.delay.ms=3
   
        
        
         
         
   
        
        
         
         
   

   其他配置默认即可

3. Distribuya todo el directorio de instalación de Kafka a otros nodos

    scp -r /training/kafka-cluster root@hadoop003:/training/
    scp -r /training/kafka-cluster root@hadoop004:/training/
   
        
        
         
         
   
        
        
         
         
   

4. Vaya a los otros dos nodos y modifique las propiedades del servidor a broker.id:, nota1和2 :
   broker.id 不得重复

5. Inicie el clúster de Kafka

   1. Inicie primero el grupo de cuidadores del zoológico (comience usted mismo)
   2. Inicie el clúster Kafka en hadoop002, hadoop003 y hadoop004 en secuencia y ejecute el siguiente comando:

      kafka-server-start.sh server.properties &
      
             
             
              
              
      
             
             
              
              
      

      注意：该命令是相对路径下执行且以后台进程方式启动Kafka
   3. Verificación: Ejecute: jpscomando en tres nodos y verá que el nombre del proceso es:Kafka

1. Descripción ambiental

---

La versión actual de Kafka aún requiere el uso de zookeeper para almacenar clústeres, intermediarios, consumidores y otra metainformación relacionada. La versión actual, concretamente la versión 2_12_3.1.0, tiene zookeeper integrado. : Si elige 故针对zookeeper环境有两种utilizar
1. 使用内置的zookeeper
el zookeeper , debe modificar la configuración en el directorio de instalación de Kafka. El archivo zookeeper.properties en el directorio
2. 使用外部的zookeeper
requiere que el clúster zookeeper esté instalado de antemano.

在本案例中，我们采用了外部的zookeeper, es decir, se creó un entorno de cuidador del zoológico de clúster de tres nodos, que se utilizó como repositorio de metadatos de la versión Kafka2_12_3.1.0.

1. La configuración del entorno del cuidador del zoológico es la siguiente :

nodo	ruta de instalación	ruta dataDir
hadoop002	/entrenamiento/zookeeper-3.4.5	/entrenamiento/zookeeper-3.4.5/tmp
hadoop003	/entrenamiento/zookeeper-3.4.5	/entrenamiento/zookeeper-3.4.5/tmp
hadoop004	/entrenamiento/zookeeper-3.4.5	/entrenamiento/zookeeper-3.4.5/tmp

2. La configuración del entorno Kafka es la siguiente :

nodo	ruta de instalación	Ruta de registro
hadoop002	/formación/kafka-cluster/	/formación/kafka-cluster/kafka-logs/
hadoop003	/formación/kafka-cluster/	/formación/kafka-cluster/kafka-logs/
hadoop004	/formación/kafka-cluster/	/formación/kafka-cluster/kafka-logs/

2. Pasos de instalación

---

1. Cargue el paquete de instalación de Kafka, descomprímalo e instálelo

   tar -zvxf kafka_2.12-3.1.0.tgz -C /training
   
        
        
       
       
   
        
        
       
       
   

2. Para modificar server.propertiesel archivo, solo necesita modificar los siguientes elementos:

   broker.id=0
   log.dirs=/training/kafka-cluster/kafka-logs
   zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
   group.initial.rebalance.delay.ms=3
   
        
        
       
       
   
        
        
       
       
   

   其他配置默认即可

3. Distribuya todo el directorio de instalación de Kafka a otros nodos

    scp -r /training/kafka-cluster root@hadoop003:/training/
    scp -r /training/kafka-cluster root@hadoop004:/training/
   
        
        
       
       
   
        
        
       
       
   

4. Vaya a los otros dos nodos y modifique las propiedades del servidor a broker.id:, nota1和2 :
   broker.id 不得重复

5. Inicie el clúster de Kafka

   1. Inicie primero el grupo de cuidadores del zoológico (comience usted mismo)
   2. Inicie el clúster Kafka en hadoop002, hadoop003 y hadoop004 en secuencia y ejecute el siguiente comando:

      kafka-server-start.sh server.properties &
      
             
             
            
            
      
             
             
            
            
      

      注意：该命令是相对路径下执行且以后台进程方式启动Kafka
   3. Verificación: Ejecute: jpscomando en tres nodos y verá que el nombre del proceso es:Kafka