(windows)kafka集群部署

1.kafka的运行环境需要JDK

        https://www.oracle.com/cn/java/technologies/javase-jdk15-downloads.html

 

2.下载kafka非源码版本

        http://kafka.apache.org/downloads

        

 

3.现在kafka中自带zookeeper,不需要单独下载(单独下载部署请看之前发的zookeeper集群部署),zookeeper配置文件为:kafka_2.13-2.7.0-2\config\zookeeper.properties

(本文使用单机配置zookeeper,注意dataDir、clientPort不能相同,多机要改IP和防火墙

        

        

        

 

        在kafka主目录下新建zookeeper-snapshots文件夹(和dataDir相同),在集群模式时在该目录下要新建一个myid文件。myid文件的内容只有一行,即对应服务器server.id中的id,表示zk进程的id,内容只能为1 - 255之间的数字。如上例子中3台服务器的myid内容分别为1、2、3

 

4.kafka服务器配置文件为:kafka_2.13-2.7.0-2\config\server.properties

(本文使用单机配置kafka,注意broker.id、port、dataDir、log.dir不能相同)

        

        

        

 

5.生产者配置文件:kafka_2.13-2.7.0-2\config\producer.properties

消费者配置文件:kafka_2.13-2.7.0-2\config\consumer.properties

分别加入kafka服务器列表(注意不是zookeeper服务器列表),IP和端口别搞错

        

 

6.服务器配置好了,启动zookeeper

        启动zookeeper1

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\zookeeper-server-start.bat D:\apache\kafka_2.13-2.7.0\config\zookeeper.properties

        启动zookeeper2

                cd D:\apache\kafka_2.13-2.7.0-2\bin\windows

                .\zookeeper-server-start.bat D:\apache\kafka_2.13-2.7.0-2\config\zookeeper.properties

        启动zookeeper3

                cd D:\apache\kafka_2.13-2.7.0-3\bin\windows

                .\zookeeper-server-start.bat D:\apache\kafka_2.13-2.7.0-3\config\zookeeper.properties

 

7.启动kafka(启动失败清空kafka-datas、kafka-logs、logs、zookeeper-snapshots/version-2文件夹内容再次尝试)

        启动kafka1

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-server-start.bat D:\apache\kafka_2.13-2.7.0\config\server.properties

        启动kafka2

                cd D:\apache\kafka_2.13-2.7.0-2\bin\windows

                .\kafka-server-start.bat D:\apache\kafka_2.13-2.7.0-2\config\server.properties

        启动kafka3

                cd D:\apache\kafka_2.13-2.7.0-3\bin\windows

                .\kafka-server-start.bat D:\apache\kafka_2.13-2.7.0-3\config\server.properties

 

8.其他命令(注意新版本生产消费是通过bootstrap-server而不是zookeeper

        创建主题

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic TestTopic1

 

        查看主题

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics.bat --zookeeper localhost:2181,localhost:2182,localhost:2183 --describe --topic TestTopic1

 

        主题列表

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics.bat --zookeeper localhost:2181,localhost:2182,localhost:2183 --list

 

        生产者

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-console-producer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic TestTopic1

        (旧版本broker-list新版本bootstrap-server

 

        消费者

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic TestTopic1 --from-beginning

 

        删除主题(标记删除,并未实际删除)

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics --zookeeper localhost:2181,localhost:2182,localhost:2183 --delete --topic TestTopic1

 

9.kafka界面管理工具:kafka tool

        https://www.kafkatool.com/download.html

 

 

猜你喜欢

转载自blog.csdn.net/tianxiefenxiang/article/details/113107268