Kafka_2.12-3.1.0集群环境搭建

一、环境说明

---

目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：
1. 使用内置的zookeeper
如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper
需要提前安装好zookeeper集群

在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。

1. zookeeper环境配置如下：

节点	安装路径	dataDir路径
hadoop002	/training/zookeeper-3.4.5	/training/zookeeper-3.4.5/tmp
hadoop003	/training/zookeeper-3.4.5	/training/zookeeper-3.4.5/tmp
hadoop004	/training/zookeeper-3.4.5	/training/zookeeper-3.4.5/tmp

2. kafka环境配置如下：

节点	安装路径	Log路径
hadoop002	/training/kafka-cluster/	/training/kafka-cluster/kafka-logs/
hadoop003	/training/kafka-cluster/	/training/kafka-cluster/kafka-logs/
hadoop004	/training/kafka-cluster/	/training/kafka-cluster/kafka-logs/

二、安装步骤

---

1. 上传Kafka安装包，解压安装

   tar -zvxf kafka_2.12-3.1.0.tgz -C /training
   
        
        
         
         
   
        
        
         
         
   

2. 修改server.properties文件,只需要修改如下几项即可：

   broker.id=0
   log.dirs=/training/kafka-cluster/kafka-logs
   zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
   group.initial.rebalance.delay.ms=3
   
        
        
         
         
   
        
        
         
         
   

   其他配置默认即可

3. 分发整个Kafka安装目录到其他节点

    scp -r /training/kafka-cluster root@hadoop003:/training/
    scp -r /training/kafka-cluster root@hadoop004:/training/
   
        
        
         
         
   
        
        
         
         
   

4. 到其他两个节点分别修改server.properties中的broker.id为：1和2，
   注意：broker.id 不得重复

5. 启动Kafka集群

   1. 先启动zookeeper集群（自行启动）
   2. 依次在hadoop002、hadoop003，hadoop004上启动Kafka集群,执行如下命令：

      kafka-server-start.sh server.properties &
      
             
             
              
              
      
             
             
              
              
      

      注意：该命令是相对路径下执行且以后台进程方式启动Kafka
   3. 验证: 三节点上执: jps命令即可看到进程名称为：Kafka

一、环境说明

---

目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：
1. 使用内置的zookeeper
如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper
需要提前安装好zookeeper集群

在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。

1. zookeeper环境配置如下：

节点	安装路径	dataDir路径
hadoop002	/training/zookeeper-3.4.5	/training/zookeeper-3.4.5/tmp
hadoop003	/training/zookeeper-3.4.5	/training/zookeeper-3.4.5/tmp
hadoop004	/training/zookeeper-3.4.5	/training/zookeeper-3.4.5/tmp

2. kafka环境配置如下：

节点	安装路径	Log路径
hadoop002	/training/kafka-cluster/	/training/kafka-cluster/kafka-logs/
hadoop003	/training/kafka-cluster/	/training/kafka-cluster/kafka-logs/
hadoop004	/training/kafka-cluster/	/training/kafka-cluster/kafka-logs/

二、安装步骤

---

1. 上传Kafka安装包，解压安装

   tar -zvxf kafka_2.12-3.1.0.tgz -C /training
   
        
        
       
       
   
        
        
       
       
   

2. 修改server.properties文件,只需要修改如下几项即可：

   broker.id=0
   log.dirs=/training/kafka-cluster/kafka-logs
   zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
   group.initial.rebalance.delay.ms=3
   
        
        
       
       
   
        
        
       
       
   

   其他配置默认即可

3. 分发整个Kafka安装目录到其他节点

    scp -r /training/kafka-cluster root@hadoop003:/training/
    scp -r /training/kafka-cluster root@hadoop004:/training/
   
        
        
       
       
   
        
        
       
       
   

4. 到其他两个节点分别修改server.properties中的broker.id为：1和2，
   注意：broker.id 不得重复

5. 启动Kafka集群

   1. 先启动zookeeper集群（自行启动）
   2. 依次在hadoop002、hadoop003，hadoop004上启动Kafka集群,执行如下命令：

      kafka-server-start.sh server.properties &
      
             
             
            
            
      
             
             
            
            
      

      注意：该命令是相对路径下执行且以后台进程方式启动Kafka
   3. 验证: 三节点上执: jps命令即可看到进程名称为：Kafka