小木大数据-kafka安装及配置

kafka安装及配置

大家好,今天我要给大家介绍一下kafka的安装及配置的方式。

首先介绍一下什么叫kafkaKafka是一个发布订阅消息系统,它的用途小木我理解的是,我们有一个温度传感器,然后kafka监控着这个传感器,它一有数据传过来,kafka就接收过来,接收之后把这个数据在放到SQL中或者进行数据分析。同时这个过程是实时动态的,有一个数据记录一个。


具体kafka怎么安装和配置呢?现在我来说一下:

1)下载安装包,其网址为:

http://kafka.apache.org/downloads

本人下载一个稳定的版本,比如0.8.2.2版本,选择画圈圈的就可以下载了。前面的SCALA2.11指的是这个东西是用2.11版本的SCALA编写的,我一直用的是2.11版本的,所以我就下载这个了,也推荐大家就下载这个。

 

2)上传安装包到我们想安装的机器上面:

我们这里的结构为:

 

小木我首先要在红色箭头指向的机器上面安装kafka,于是我们用scp将我们下载的安装包上传到192.168.2.12(主机名:slave1)上面:

put -r G:/kafka_2.11-0.8.2.2.tgz ~

3)解压安装包

tar -zxvf kafka_2.11-0.8.2.2.tgz -C ~/bigdata/

4)解压后,到安装目录下的conf目录

cd bigdata/kafka_2.11-0.8.2.2/config/

5)打开文件server.properties

vi server.properties

并且,在server.properties 文件中修改对应的行为

broker.id=0

host.name=slave1

log.dirs=/data/kafka

zookeeper.connect=slave2:2181,slave5:2181,slave6:2181

改完之后,:wq保存退出

6)将配置好的kafka拷贝到其它的机器上面

scp -r kafka_2.11-0.8.2.2/ 192.168.2.14:$PWD

scp -r kafka_2.11-0.8.2.2/ 192.168.2.15:$PWD

7)修改broker.idhost.name

主机IP192.168.2.14安装目录下的conf目录打开文件server.properties,将文件中部分内容改为:

broker.id=1

host.name=slave3


主机IP192.168.2.15安装目录下的conf目录打开文件server.properties,将文件中部分内容改为:

broker.id=2

host.name=slave4


8)在每台机器上启动kafka

~/bigdata/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh -daemon ~/bigdata/kafka_2.11-0.8.2.2/config/server.properties

9)在192.168.2.12启动生产者

~/bigdata/kafka_2.11-0.8.2.2/bin/kafka-console-producer.sh --broker-list slave1:9092,slave3:9092,slave4:9092 --topic xiaomu

10)在192.168.2.14、在192.168.2.15启动消费者

~/bigdata/kafka_2.11-0.8.2.2/bin/kafka-console-consumer.sh --zookeeper slave2:2181,slave5:2181,slave6:2181 --topic xiaomu --from-beginning 

11)在生产者机器上随便敲几个字母按回车,如果消费者机器能收到,那就说明安装成功

猜你喜欢

转载自blog.csdn.net/u013631121/article/details/81007510
今日推荐