kafka系列-入门篇之安装

版权声明:如您需要转载该文章,请注明原文网址 https://blog.csdn.net/camel84/article/details/81319909

前言

Kakfa经过几年的时间,终于来到了2.x的正式版本。不过在0.8.x的版本就有不少公司已经在生产环境上使用了,也可以说明它在大数据生态圈的地位是非常重要的。经过几个版本的迭代,API发生了一些变化,增加了一些新的特性,这些我们在后面的文章再来慢慢道来吧,今天我们从kafka的安装开始。前期准备

我们知道大数据是从Hadoop发展而来,但是kafka的安装还不是必需使用hdfs、mapreduce和yarn。在安装kafka之前需要安装JDK 1.7以上,建议使用JDK1.8。

kafka对于操作系统的兼容性是十分好的,无论你使用的是linux、macos还是windows,都是可以正常的使用。

安装

下载kafka安装包,解压后的目录如下。

  1. bin目录下是执行文件。bin下不但有kafka的执行文件,还包括了zookeeper的执行文件。如果你安装了zookeeper可以不用使用这里的zookeeper。
  2. config目录下是配置文件。同样,该目录下有kafka和zookeeper的配置文件
  3. libs目录下是kafka相关的jar包。
  4. site-docs目录下是kafka的文档。

 

解压完后,就算是安装完了。你也可以配置一下环境变量,方便在终端执行命令。按照下面的命令操作,可以不用配置环境变量。后面的命令都是在前台执行的,也就是说每个命令执行都需要新建一个窗口。

启动zookeeper

如果你之前安装zookeeper,那么也可以启动你之前安装的zookeeper。

进入解压的kafka目录

对于linux或者macos操作系统,执行zookeeper的shell文件

扫描二维码关注公众号,回复: 6124150 查看本文章
bin/zookeeper-server-start.sh config/zookeeper.properties

对于window操作系统,请执行对应的bin/windows下的bat文件

bin/windows/zookeeper-server-start.bat config/zookeeper.properties

启动kafka

对于linux或者macos操作系统,执行kafka的shell文件

bin/kafka-server-start.sh config/server.properties

对于windows操作系统用户,请执行对应的bin/windows目录下的bat文件

bin/windows/kafka-server-start.bat config/server.properties

测试消息发送

创建一个topic

对于linux或者macos操作系统,执行kafka的shell文件

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

对于windows操作系统用户,请执行对应的bin/windows目录下的bat文件

bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动producer

对于linux或者macos操作系统,执行kafka的shell文件

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

对于windows操作系统,执行kafka的bat文件

bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic test

启动consumer

对于linux或者macos操作系统,执行kafka的shell命令

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

对于windows操作系统,执行kafka的bat命令

bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

发送消息

在producer窗口发送一个测试消息

在consumer窗口收到了来自producer的消息

猜你喜欢

转载自blog.csdn.net/camel84/article/details/81319909