kafka安装及配置
大家好,今天我要给大家介绍一下kafka的安装及配置的方式。
首先介绍一下什么叫kafka。Kafka是一个发布订阅消息系统,它的用途小木我理解的是,我们有一个温度传感器,然后kafka监控着这个传感器,它一有数据传过来,kafka就接收过来,接收之后把这个数据在放到SQL中或者进行数据分析。同时这个过程是实时动态的,有一个数据记录一个。
具体kafka怎么安装和配置呢?现在我来说一下:
(1)下载安装包,其网址为:
http://kafka.apache.org/downloads
本人下载一个稳定的版本,比如0.8.2.2版本,选择画圈圈的就可以下载了。前面的SCALA2.11指的是这个东西是用2.11版本的SCALA编写的,我一直用的是2.11版本的,所以我就下载这个了,也推荐大家就下载这个。
(2)上传安装包到我们想安装的机器上面:
我们这里的结构为:
小木我首先要在红色箭头指向的机器上面安装kafka,于是我们用scp将我们下载的安装包上传到192.168.2.12(主机名:slave1)上面:
put -r G:/kafka_2.11-0.8.2.2.tgz ~
(3)解压安装包
tar -zxvf kafka_2.11-0.8.2.2.tgz -C ~/bigdata/
(4)解压后,到安装目录下的conf目录
cd bigdata/kafka_2.11-0.8.2.2/config/
(5)打开文件server.properties
vi server.properties
并且,在server.properties 文件中修改对应的行为
broker.id=0
host.name=slave1
log.dirs=/data/kafka
zookeeper.connect=slave2:2181,slave5:2181,slave6:2181
改完之后,:wq保存退出
(6)将配置好的kafka拷贝到其它的机器上面
scp -r kafka_2.11-0.8.2.2/ 192.168.2.14:$PWD
scp -r kafka_2.11-0.8.2.2/ 192.168.2.15:$PWD
(7)修改broker.id及host.name
到主机IP为192.168.2.14的安装目录下的conf目录打开文件server.properties,将文件中部分内容改为:
broker.id=1
host.name=slave3
到主机IP为192.168.2.15的安装目录下的conf目录打开文件server.properties,将文件中部分内容改为:
broker.id=2
host.name=slave4
(8)在每台机器上启动kafka
~/bigdata/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh -daemon ~/bigdata/kafka_2.11-0.8.2.2/config/server.properties
(9)在192.168.2.12启动生产者
~/bigdata/kafka_2.11-0.8.2.2/bin/kafka-console-producer.sh --broker-list slave1:9092,slave3:9092,slave4:9092 --topic xiaomu
(10)在192.168.2.14、在192.168.2.15启动消费者
~/bigdata/kafka_2.11-0.8.2.2/bin/kafka-console-consumer.sh --zookeeper slave2:2181,slave5:2181,slave6:2181 --topic xiaomu --from-beginning
(11)在生产者机器上随便敲几个字母按回车,如果消费者机器能收到,那就说明安装成功