Kafka的安装与基本操作

一、前提工作

---

必须安装了zookeeper

• 单机可参考：zookeeper单机安装与配置
  
• 集群可参考：Zookeeper的集群安装

二、Kafka安装

---

1. 上传kafka_2.11-2.3.1.tgz到/tools目录下
2. 解压安装到/training目录下

   tar -zvxf kafka_2.11-2.3.1.tgz -C /training/
   
        
        
         
         
   
        
        
         
         
   

3. 配置环境变量并让环境变量生效
   执行：vi ~/.bash_profile 命令，添加如下信息并保存退出：

   #kafka
   export KAFKA_HOME=/training/kafka_2.11-2.3.1
   export PATH=$PATH:$KAFKA_HOME/bin
   
        
        
         
         
   
        
        
         
         
   

4. 环境变量，生效执行：source ~/.bash_profile
5. 创建用于存放kafka的log目录（在kafka安装路径下创建.

   mkdir /training/kafka_2.11-2.3.1/kafka-logs
   
        
        
         
         
   
        
        
         
         
   

6. 配置server.properties(文件在kafka安装路径下的config目录中)
   执行：vi server.properties
   并修改如下信息(hadoop001为主机名)：

   listeners=PLAINTEXT://hadoop001:9092
   log.dirs=/training/kafka_2.11-2.3.1/kafka-logs
   zookeeper.connect=hadoop001:2181
   
        
        
         
         
   
        
        
         
         
   

7. 启动kafka(先需要启动zookeeper)

   kafka-server-start.sh /training/kafka_2.11-2.3.1/config/server.properties
   
        
        
         
         
   
        
        
         
         
   

8. 验证Kafka是否成功启动
   查看9092端口是否已经启动：netstat -anop|grep 9092
   或者执行：jps，查看是否有kafka进程存在
   或者：
   

三、Kafka基本操作

---

1. 创建主题topic，如test
   执行：

   kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test
   
        
        
         
         
   
        
        
         
         
   

2. 启动控制台生产者（需要另外打开一个终端.
   执行：

   kafka-console-producer.sh --broker-list hadoop001:9092 --topic test
   
        
        
         
         
   
        
        
         
         
   

3. 启动控制台消费者（需要另外打开一个终端.
   执行：

   kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning
   
        
        
         
         
   
        
        
         
         
   

4. 测试
   在生产者所在的终端中输入一些文字，如：hello world，按回车键
   

   在消费者所在的终端中就会看到从生成者发送过来的：hello world，如下图所示：
   

5. 此时执行jps查看，会看到如下进程：
   

6. 可以查看下此时zookeeper中生成了哪些内容，执行：zkCli.sh，会看到如下内容，这也说明了zookeeper保存了Kafka的一些元信息。请自行验证。
   

扫描二维码关注公众号，回复： 16924385 查看本文章

一、前提工作

---

必须安装了zookeeper

• 单机可参考：zookeeper单机安装与配置
  
• 集群可参考：Zookeeper的集群安装

二、Kafka安装

---

1. 上传kafka_2.11-2.3.1.tgz到/tools目录下
2. 解压安装到/training目录下

   tar -zvxf kafka_2.11-2.3.1.tgz -C /training/
   
        
        
       
       
   
        
        
       
       
   

3. 配置环境变量并让环境变量生效
   执行：vi ~/.bash_profile 命令，添加如下信息并保存退出：

   #kafka
   export KAFKA_HOME=/training/kafka_2.11-2.3.1
   export PATH=$PATH:$KAFKA_HOME/bin
   
        
        
       
       
   
        
        
       
       
   

4. 环境变量，生效执行：source ~/.bash_profile
5. 创建用于存放kafka的log目录（在kafka安装路径下创建.

   mkdir /training/kafka_2.11-2.3.1/kafka-logs
   
        
        
       
       
   
        
        
       
       
   

6. 配置server.properties(文件在kafka安装路径下的config目录中)
   执行：vi server.properties
   并修改如下信息(hadoop001为主机名)：

   listeners=PLAINTEXT://hadoop001:9092
   log.dirs=/training/kafka_2.11-2.3.1/kafka-logs
   zookeeper.connect=hadoop001:2181
   
        
        
       
       
   
        
        
       
       
   

7. 启动kafka(先需要启动zookeeper)

   kafka-server-start.sh /training/kafka_2.11-2.3.1/config/server.properties
   
        
        
       
       
   
        
        
       
       
   

8. 验证Kafka是否成功启动
   查看9092端口是否已经启动：netstat -anop|grep 9092
   或者执行：jps，查看是否有kafka进程存在
   或者：
   

三、Kafka基本操作

---

1. 创建主题topic，如test
   执行：

   kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test
   
        
        
       
       
   
        
        
       
       
   

2. 启动控制台生产者（需要另外打开一个终端.
   执行：

   kafka-console-producer.sh --broker-list hadoop001:9092 --topic test
   
        
        
       
       
   
        
        
       
       
   

3. 启动控制台消费者（需要另外打开一个终端.
   执行：

   kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning
   
        
        
       
       
   
        
        
       
       
   

4. 测试
   在生产者所在的终端中输入一些文字，如：hello world，按回车键
   

   在消费者所在的终端中就会看到从生成者发送过来的：hello world，如下图所示：
   

5. 此时执行jps查看，会看到如下进程：
   

6. 可以查看下此时zookeeper中生成了哪些内容，执行：zkCli.sh，会看到如下内容，这也说明了zookeeper保存了Kafka的一些元信息。请自行验证。