Kafka集群环境搭建——aboutyun

需要安装两个

1、zookeeper 的安装

2、kafka集群的安装

    

因为kafka分布式消息队列系统,它整体的设计是一个消息发布与定义的一个系统,在kafka集群当中有几个比较核心的概念

1、broker 消息的服务器,一个集群里面有几个节点,一般是由几个消息服务器来组成,服务器主要是用来存储消息的

2、消息的生产者,在kafka中的消息生产者产生的消息会传到一个指定的消息主题里面,也就是topic

3、消费者,消费者是从topic里面消费的,topic下的某些分区,从分区里面读取消息然后进行消费

4、topic消息的主题,或者理解为一组消息的一种归纳。 topic下面还可以进行一些分区

5、partition 消息的分区

6、offset消息的偏移量,偏移量(新的是推荐安装在kafka的内部消息主题里面)

7、上面6项的主键的在工作中是依赖于zookeeper进行存储,同时zookeeper可以协调他们之间的工作。所以当初kafka当初设计的时候就是依赖于zookeeper,所以先要安装zookeeper。

具体安装如下:-----------------------------------------------

1、先解压  2、对文件配置  3、把相关安装包分发到其他节点  4、分发完后配置环境变量  5、然后就可以启动集群了

1、先将文件通过Xshell上传上来。

2、可以通过ll命令进行查看  

然后从安装zookeeper开始

3、输入命令  tar -zxvf zookeeper-3.4.6.tar.gz  -C data   回车   也是将其解压到data目录下面

4、接下来就是进行文件的配置

5、进来后,发现没有zoo.cfg这个文件。但是他有一个模板,zoo_sample.cfg,所以直接复制它进行编辑。

所以输入命令   cp zoo_sample.cfg  zoo.cfg  回车

6、然后对其文件进行编辑  vi   zoo.cfg     输入截图所示的信息

保存退出

7、回到data目录下面,因为   /home/aboutyun/data/zk_data  自定义路径的文件夹还没有创建所以

需要创建  ,在home目录下面输入命令  mkdir   zk_data  

8、创建完后,需要在里面填写一个myid,就是一个集群节点的唯一标识

 输入命令 :     echo  "1">myid   通过添加内容的同时将其进行创建。myid ,这个id是1

9、到此,就已经配置完了,配置完后,需要将它们分发到各个节点上。

scp -r  zookeeper-3.4.6/  zk_data/ aboutyun@slave1:~/data

scp -r  zookeeper-3.4.6/  zk_data/ aboutyun@slave2:~/data

10、拷贝完后,进行myid的相应的配置。

第一个从节点改为  2    输入命令:   echo "2">myid      用cat 查看   myid

第二个从节点改为 3    输入命令:    echo "3">myid     用cat 查看   myid

11、改完后,开始配置环境变量。

    先进入到zookeeper的安装目录,将其安装路径拷贝出来。

/home/aboutyun/data/zookeeper-3.4.6  拷贝出来,然后回到home目录下,对.bash_profile进行编辑

12、vi .bash_profile ,对其文件进行编辑,将zookeeper的路径添加上

将目录,和bin添加完后,进行保存。退出

13、为了使环境变量生效,进行source .bash_profile  一下

14、改完了之后,将环境变量文件分发到其他各个节点,覆盖到各个节点的值。

   scp .bash_profile aboutyun@slave1:~/   同时要进入到节点一  用source命令使它生效

   scp .bash_profile aboutyun@slave2:~/   同时要进入到节点二  用source命令使它生效

分别进入到节点1,节点2,使用命令使他们生效。

15、配置完成了,现在可以启动zkServer了。(先从主节点开始启动

16、启动完后,可以通过jps来查看进程。 ./zkServer.sh start

出现红圈这个,说明节点已经启动成功了

 同时也在其他节点 ,slave1,slave2里面进行启动。

到这来,zookeeper就已经安装和启动完成了。

接下来就是安装和配置kafka

1、先解压kafka,输入命令   tar -zxvf kafka_2.11-0.10.1.0.tgz  -C  data  解压到 data目录下面

2、然后进到kafka里面进行相应的配置,

3、对 server.properties进行编辑,  输入命令  vi server.properties

    

进入文件后,需要配置两个地方  ,log.dirs=/home/aboutyun/data/kafka-logs

 

   zookeeper.connect=master:2181,slave1:2181,slave2:2181

 

 这两个进行替换后,进行保存退出。

4、因为刚刚创建了kafka-logs这个文件的路径,所以需要回到data目录下面去创建一个文件夹

 输入命令  :  mkdir kafka-logs

 

5、然后就是将kafka-logs  与kafka的解压文件  分发到其他节点,同时分别修改slave1,slave2节点的broker.id的值为1,2

   输入命令 :    scp -r kafka_2.11-0.10.1.0/  kafka-logs/  aboutyun@slave1:~/data 

  输入命令  :    scp -r kafka_2.11-0.10.1.0/  kafka-logs/  aboutyun@slave2:~/data

   拷贝完后,需要改他们文件里面的broker.id     文件的位置在kafka的config目录下面 的server.properties里面

 

  对文件进行编辑 ,输入命令  vi   server.properties     将broker.id修改为1         保存退出

     同样的slave2也要修改broker.id  修改为2    保存退出

6、进入到kafka目录下,将其当前目录拷贝下来 

  

   回到home目录下面。对.bash_profile文件进行编辑    输入命令  vi .bash_profile

    进入文件后,将其路径与bin 进行添加进去。

 

 然后保存退出。执行一下source .bash_profile文件的命令。

7、然后再拷贝到其他节点

   scp .bash_profile aboutyun@slave1:~/   回车 

   scp .bash_profile aboutyun@slave2:~/   回车

  同时,分别进入它们节点下面的home下,执行source 命令,使它们进行生效。

 8、到这来配置完成后,检查一下没有问题,就可以启动kafka了,(启动kafka之前先启动zookeeper

  启动顺序是三个节点都要启动,但是先要启动master ,启动的路径是

  kafka 的bin 目录下面。    输入命令是  ./kafka-server-start.sh  ../config/server.properties

  后面那个是参数,文件配置目录在它上一级的config下面。

  接着,其他的从节点也是要启动   输入同样的命令 

9、然后再打开一个master窗口来查看它的进程。

 在这里就可以看到kafka已经启动了

到此,kafka的安装配置完毕启动成功。

  

发布了190 篇原创文章 · 获赞 16 · 访问量 19万+

猜你喜欢

转载自blog.csdn.net/penghao_1/article/details/103585176
今日推荐