zookeeper和kafka集群部署

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_15411661/article/details/83657150

• 集群zookeeper部署

1.找到每台物理节点的zookeeper配置文件所在目录:

/home/soft/NodeServer/zookeeper/conf/zoo.cfg

2.修改配置文件中的IP信息:

Server.1 = IP1:2887:3887      //将其中的127.0.0.1改为具体的IP1

Server.2 = IP2:2887:3887      //将其中的127.0.0.1改为具体的IP2

Server.3 = IP3:2887:3887      //将其中的127.0.0.1改为具体的IP3

3.找到数据目录/home/ssd/zookeeper，在这个目录下创建myid文件:

文件中填入节点的编号：如上面的server.n即填入n即可。

4.启动脚本，在/home/soft/NodeServer/zookeeper/bin目录下:

$ sh zkServer.sh start

5.确认服务启动成功：

$sh zkServer.sh status                 //查看服务的状态

显示如下:

• 集群kafka部署

1.找到kafka配置文件所在目录：

/home/soft/NodeServer/kafka/config/server.properties

2.配置kafka节点号，和本机zookeeper的myid号对应:

broker.id = 1                           //将1改成具体的节点号n

3.将配置文件中kafka的监听IP改为具体的IP：

listeners=PLAINTEXT://127.0.0.1:9092     //将其中的127.0.0.1改为具体的IP

host.name = 127.0.0.1                    //将其中的127.0.0.1改为具体的IP

4.修改分区数量:

num.partitions = 1               //将分区数量改成具体的节点个数,一般集群为3个

5.将配置文件中,kafka依赖的zookeeper的IP改为具体的IP:

zookeeper.connect=127.0.0.1:2181    //改成zk的节点集合，如：ip1:2181,ip2:2181，ip3:2181

6.修改生产者配置文件producer.properties:

metadata.broker.list=127.0.0.1:9092 //改成broker节点集合，如：ip1: 9092,ip2: 9092，ip3: 9092

7.修改消费者配置文件consumer.properties

zookeeper.connect=127.0.0.1:2181    //改成zk的节点集合，如：ip1:2181,ip2:2181，ip3:2181

8.启动脚本:

$ bin/kafka-server-start.sh  config/server.properties &

9.确认服务是否启动成功:

$netstat -tunlp|egrep 9092           //查看2181和9092是否存在