Kafka本地集群搭建

工作需要,本地搭建了kafka的集群做测试,并简单使用。

本地环境:
- VMware Workstation 14 Pro
- CentOS 7
- jdk-8u161-linux-x64.tar.gz
- zookeeper-3.4.10.tar.gz
- kafka_2.11-1.0.1.tgz

主机名 IP 软件
tyron0 192.168.1.100 jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron1 192.168.1.101 jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron2 192.168.1.102 jdk 8、zookeeper-3.4.10、kafka-1.1.0

kafka的topic使用

环境搭建

可以参考我之前的文章:VMware14搭建CentOS+jdk8环境

zookeeper安装

参考教程:认识 ZooKeeper-极客学院
附上配置文件:
zoo.cfg

// 启动zookeeper
cd /opt/zookeeper/bin/
./zkServer.sh start

zookeeper启动成功
注意事项:三台虚拟机开启2888、3888端口

firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
systemctl restart firewalld.service

搭建过程中出现的问题:启动ZooKeeper出错及解决方法

kafka安装

kafka安装相对简单与zookeeper安装类似,主要是修改配置文件:

broker.id=0        //依次增长的:0、1、2、3、4,集群中唯一id
host.name=192.168.1.100 // 主机ip,分别是101和102
port=9092 //端口号
log.dirs=/opt/kafka/logs  // 日志地址
zookeeper.connect=192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 //zookeeperServers列表,各节点以逗号分开
// 启动kafka
cd /opt/kafka/
bin/kafka-server-start.sh -daemon config/server.properties &

// 可能会有权限不足
chmod +x kafka-server-stop.sh

启动成功后,如本文第一张图所示。

参考文档:
kafka学习 非常详细的经典教程
Kafka教程(二)Kafka集群环境安装

猜你喜欢

转载自blog.csdn.net/tian330726/article/details/79976325
今日推荐