快速入门kafka② kafka集群搭建(初级体验)

一、搭建环境前提

安装jdk,安装zookeeper并保证zk服务正常启动

二、下载并解压

wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz

tar –zxvf  kafka_2.11-1.0.0.tgz -C /export/servers/

三、node01服务修改配置文件

node01执行以下命令进入到kafka的配置文件目录,修改配置文件
node01执行以下命令创建数据文件存放目录
mkdir -p  /export/servers/kafka_2.11-1.0.0/logs
cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
================
# broker.id 唯一的
broker.id=0
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
zookeeper.connect=node01:2181,node02:2181,node03:2181
delete.topic.enable=true
# host.name 在那个节点上就写那个
host.name=node01

 四、安装包分发到其他的节点上

scp -r kafka_2.11-1.0.0/ node02:$PWD
scp -r kafka_2.11-1.0.0/ node03:$PWD

五、kafka集群启动与关闭

bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-stop.sh 

 六、kafka 初级体验

创建一个Topic
bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 2 --partitions 3 --topic AA
执行结果
Created topic "AA".
查询创建的Topic
bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181
模拟生产者生产数据:当出来>(说明是创建成功了)
bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic BB1
--broker-list 指的是存储数据的kafka节点
模拟消费者消费数据
bin/kafka-console-consumer.sh --topic BB --zookeeper node01:2181,node02:2181,node03:2181 --from-beginning
-zookeepe: 消费者在二次进入启动中,在那个位置开始消费
-from-beginning: 记录消费者消费到那条数据,记录的是偏移量,每条数据都有唯一的偏移量

1

发布了88 篇原创文章 · 获赞 99 · 访问量 21万+

猜你喜欢

转载自blog.csdn.net/qq_43791724/article/details/104931831
今日推荐