windows 安装运行kafka

一、安装JAVA JDK

1、下载安装包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意：根据32/64位操作系统下载对应的安装包

2、添加系统变量：JAVA_HOME=C:\Program Files\Java\jdk1.8.0_77

二、配置zookeeper

Zookeeper：
官网：https://zookeeper.apache.org/releases.html#download

百度网盘链接：https://pan.baidu.com/s/1R8N0Y8c5kjsG_NZNMzJb4A
提取码：ncln

1. 将文件解压好了之后我们先进入到conf目录中

2. 可以看到有一个zoo.cfg文件，若没有可以复制“zoo_sample.cfg”，重命名为“zoo.cfg”

3. 打开后修改其中的 dataDir的路径，改成我们解压后文件的路径如：E:\SOFT\zookeeper-3.4.13（注意一定要是 \\ ）

4. 编辑系统变量，将zookeeper的bin目录添加进去：E:\SOFT\zookeeper-3.4.13\bin

5. 在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181，但是是这里改了之后kafka配置文件也要注意修改）

6. 打开新的cmd，输入“zkServer“，运行Zookeeper

7. 命令行提示如下：说明本地Zookeeper启动成功
   
   
   
   注意：不要关了这个窗口

三、配置kafka

Kafka：
官网：http://kafka.apache.org/downloads

百度网盘链接：https://pan.baidu.com/s/1G-4EH8ZQtq0Zt7Z339qDDA
提取码：ncln

注意要下载二进制版本

1. 解压并进入Kafka目录

2. 进入config目录找到文件server.properties并打开

3. 找到并编辑log.dirs=E:\SOFT\kafka_2.11-2.1.1\logs

4. 找到并编辑zookeeper.connect=localhost:2181(如果之前修改了，改成相对应的端口)

5. Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181

6. 进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1，按下Shift+右键，选择“在此处打开powershell窗口”选项，打开命令行，输入：

.\bin\windows\kafka-server-start.bat .\config\server.properties

或bin\kafka-server-start.sh config\server.properties

注意：不要关闭这个窗口，且启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四、测试

（linux直接在bin目录下.sh，windows需要进入bin\winndows下的.bat）

1、创建主题：

进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1，按下Shift+右键，选择“在此处打开powershell窗口”选项，打开命令行，输入：

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

注意：不要关了这个窗口

2、查看主题：

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

3、创建生产者：

进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1，按下Shift+右键，选择“在此处打开powershell窗口”选项，打开命令行，输入：

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

注意：不要关了这个窗口

4、创建消费者：

进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1，按下Shift+右键，选择“在此处打开powershell窗口”选项，打开命令行，输入：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

此时，往生产者窗口写入消息，消费者窗口也能同步的接收到消息

5、创建消费者操作日志的处理：

• kafka启动后，如果你去查看kafka所在的根目录，或者是kafka本身的目录，会发现已经默认生成一堆操作日志(这样看起来真心很乱)：

• 而且会不断生成不同时间戳的操作日志。刚开始不知所措，一番研究后，看了启动的脚本内容，发现启动的时候是会默认使用到这个log4j.properties文件中的配置，而在zoo.cfg是不会看到本身的启动会调用到这个，还以为只有那一个日志路径：

• 在这里配置一下就可以了，找到config下的log4j.properties：

• 将路径更改下即可，这样就可以归档在一个文件夹下边了，路径根据自己喜好定义：

• 另外如何消除不断生成日志的问题，就是同一天的不同时间会不停生成。

• 修改这里，还是在log4j.properties中：

• 本身都为trace，字面理解为会生成一堆跟踪日志，将其改为INFO即可。

本文参考网址：

http://kafka.apache.org/

https://blog.csdn.net/weixin_38004638/article/details/91893910

http://blog.csdn.net/evankaka/article/details/52421314