第一步:解压安装包 [root@hadoop2 home]# tar -zxvf /home/kafka_2.11-0.9.0.1.tgz -C /usr/local/ kafka_2.11-0.9.0.1/ 修改文件名 mv /home/kafka_2.11-0.9.0.1.tgz /home/kafka-0.9.0.1/ 第二步:备份原始的需要修改的三个文件 [root@hadoop2 config]# mv producer.properties producer.properties.bak [root@hadoop2 config]# mv consumer.properties consumer.properties.bak [root@hadoop2 config]# mv server.properties server.properties.bak 第三步:修改producer.properties, [root@hadoop2 kafka_0.9.0.1]# vi ./config/producer.properties 指定kafka节点的元数据 metadata.broker.list=hadoop2:9092,hadoop3:9092:hadoop4:9092 [root@hadoop2 kafka_0.9.0.1]# vi ./config/consumer.properties 指定zookeeper连接服务器的地址 zookeeper.connect=hadoop2:2181,hadoop3:2181,hadoop4:2181 [root@hadoop2 kafka_0.9.0.1]# vi ./config/server.properties broker的全局唯一编号,不能重复(记住每一天机器的编号都不一样,可分别为1,2,3) broker.id=0 #kafka消息存放的路径(指定消息处存放路径,不存在会自动创建) log.dirs=/usr/local/kafka_0.9.0.1/logs/kafka #此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer con nection to localhost:9092 unsuccessful 错误! host.name=hadoop2(每天机器不一样,,为自己的主机地址) 第四步:分发 [root@hadoop2 kafka_0.9.0.1]# scp -r /usr/local/kafka_0.9.0.1/ hadoop3:/usr.local/ [root@hadoop2 kafka_0.9.0.1]# scp -r /usr/local/kafka_0.9.0.1/ hadoop4:/usr.local/ 第五步:更改分发之后两台主机的信息 vi ./config/server.properties 中的两个地方 broker.id=0(最好按顺序进行编号) host.name=hadoop2(每天机器不一样,,为自己的主机地址) 启动集群: 依次在各节点上启动kafka nohup ./bin/kafka-server-start.sh ./config/server.properties & 查看当前服务器中的所有topic bin/kafka-topics.sh --list --zookeeper node01:2181 l 创建topic bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic test l 删除topic bin/kafka-topics.sh --delete --zookeeper node01:2181 --topic test 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 l 通过shell命令发送消息 bin/kafka-console-producer.sh --broker-list node01:9092 --topic test1 l 通过shell消费消息 bin/kafka-console-consumer.sh --zookeeper node01:2181 --from-beginning --topic test1 l 查看消费位置 bin/kafka-run-class.sh kafka.tools.ConsumerOffs
安装运行kafka
猜你喜欢
转载自blog.csdn.net/python36/article/details/79928143
今日推荐
周排行