kafka+zookeeper集群搭建

看了网上一批的集群搭建,自己也写一个kafak的集群搭建,搭建很简单,难的是这么用java工程去发这消息。

先准备一个kafka的tar包,我这里用的是kafka_2.10-0.9.0.0.tar

      然后就是zookeeper,我用的是zookeeper-3.4.6.tar.gz

      这里就不搭伪分布了。伪分布虽然是为了学习用,你在实际中肯定用的是分布式,而且,最重要的一点,集群代码伪分布和分布式还是有很多不一样的。

准备3台机器,

       1:  10.211.55.6——h3

       2:  10.211.55.5——h2

       3:  10.211.55.4 ——h1

zookeeper-3.4.6.tar.gz放在/usr目录下,解压

tar -zxvf zookeeper-3.4.6.tar.gz 

进到conf目录

cp zoo_sample.cfg zoo.cfg

然后你就看到和一样到文件列表了


然后修改zoo.cfg里的一些配置


这是我提供的文档

之后cd到刚才配置的data目录,也就是dataDir=/usr/zookeeper-3.4.6/data这个

新建一个myid文件

比如为这台是h1的主机,myid就是1 

echo "1" > /usr/zookeeper-3.4.6/data/myid

然后h2主机就是2,h3就是3,依次配好

然后就可以跑起来了

每台服务把zk跑起来 cd到bin目录

./zkServer.sh start

跑起来之后jps一下,看下是否有进程生成,之后再./zkServer.sh status看下zookeeper到状态



三台都起好了,那就说明你zk已经搭建成功了




---------------------------kafka的搭建

kafka的搭建也很简单,不过就是看看文件里是否生成了自己所创建的东西

kafka_2.10-0.9.0.0.tar 在/root目录下解压

cd /root

tar -xvf kafka_2.10-0.9.0.0.tar

然后建一个软连接(个人爱好,你可以不照做)

ln -s /root/kafka_2.10-0.9.0.0 /home/kafka

这样/home目录下就生产了一个kafka文件,指向/root/kafka_2.10-0.9.0.0


之后也超简单,改下kafka的配置文件就好了


我们要修改sever.properties文件

改这几个配置

host.name=h1-----改成你自己的主机

broker.id=1 -----类似zookeeper的myid,每个broker都是自己唯一的

log.dirs=/home/kafka/kafka-logs  ------ 指定你自己生产的文件

num.partitions=1(这个我是不改,因为生产一个topic的时候我自己可以指定partitions个数)

zookeeper.connect=h1:2181,h2:2181,h3:2181 ---------把你的zookeeper的地址扔上去

3台机都做同样的事情,注意:3台机的host.name broker.id不要写一样了,我之前就这样,导致副本数多个会出现问题


至此,开始启动kafka

cd 到kafka目录



执行以下命令

bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & 

没有后面的shell命令,你的窗口将全是kafka的console

jps以下,看下你的kafka有没有启动成功



下一节,将继续介绍kafka的java程序

猜你喜欢

转载自blog.csdn.net/xiao__miao/article/details/72957087