一,安装好zookeeper,做好准备工
zookeeper安装目录:cd apps/zookeeper-3.4.6/
启动zookeeper:sh zkmanager.sh start (已经配置好了)
二,安装Kafka
1,下载kafua安装
http://archive.apache.org/dist/kafka/
2,上传到虚拟机安装解压
kafka 2.1.2-2.2.0 版本
3,修改配置文件
cd apps/kafka_2.12-2.2.0/config/ 下的 server.properties
1)修改beoker.id=1 (分别修改每台虚拟机,改为1,2,3,保证不冲突就好)
2)修改log配置文件
3)修改zookeeper 连接地址
4)socket server setting中的listeners
配好一台后复制
scp -r apps/kafka_2.12-2.2.0 xnj-2:/root/apps/
复制后分别修改以上内容
三,启动测试
1,启动zookeeper
脚本启动: ./zkmanager.sh start
2, 启动kafka zai cd /apps/kafka_2.12-2.2.0/bin下
./kafka-server-start.sh ../config/server.properties
(已经写好脚本 ,在根目录下 sh kfkmananger.sh 即可启动所有kafka节点)
在Zookeeper上查看
cd apps/zookeeper-3.4.6/bin/
./zkCli.sh -server hdp-1:2181
四, 运行操作
1)创建主题
./kafka-topics.sh --create --zookeeper xnj-1:2181,xnj-2:2181,xnj-3:2181 --replication-factor 1 --partitions 1 --topic test
2)创建生产者
./kafka-console-producer.sh --broker-list xnj-1:9092,xnj-2:9092,xnj-3:9092 --topic test
3)消费信息 消费者
./kafka-console-consumer.sh --bootstrap-server xnj-1:9092,xnj-2:9092,xnj-3:9092 --topic test --from-beginning
删除主题
./kafka-topics.sh --delete --zookeeper xnj-1:2181,xnj-2:2181,xnj-3:2181 --topic test2
查看描述
./kafka-topics.sh --describe --zookeeper xnj-1:2181,xnj-2:2181,xnj-3:2181 --topic test