一、环境准备
1、本次使用机器为Apache-Hadoop2.7.3分布式集群搭建中的WAMaster、WASlave1、WASlave2节点；也可自行再准备三台linux主机或虚拟机(需要java环境)。
2、这里不使用kafka自带的Zookeeper，所以Zookeeper集群搭建请参考Zookeeper集群搭建
二、安装包准备
1、通过Xshell分别连接WAMaster、WASlave1、WASlave2后，通过lrzsz将kafka_2.11-0.10.2.1.tgz（下载地址：Kafka官网下载）压缩包上传至各节点
2、分别在各节点解压kafka压缩包
解压命令：tar -zxvf kafka_2.11-0.10.2.1.tgz
3、kafka安装目录结构及用途
bin linux/window下命令脚本目录 config kafka和自带Zookeeper配置文件 libs 依赖包 site-docs 相关文档说明
三、物理架构
四、配置
扫描二维码关注公众号，回复：
2548746 查看本文章
1、环境变量配置，分别在各节点为kafka配置环境变量
执行以下命令：vi ~/.bash_profile,在打开的文件中追加以下内容（图片标红内容），然后执行：source ~/.bash_profile使生效
2、kafka配置，各节点分别修改server.properties，主要修改broker.id和zookeeper.connect项
WAMaster节点修改（kafka安装目录config目录下）：vi server.properties
WASlave1节点修改（kafka安装目录config目录下）：vi server.properties
3、启动，首先分别启动WASlave2、WASlave3、WASlave4的Zookeeper服务，然后启动WAMaster、WASlave1、WASlave3的kafka服务
Zookeeper启动命令：zkServer.sh startkafka启动命令(kafka安装目录下)：bin/kafka-server-start.sh -daemon config/server.properties；执行jps命令查看进程是否启动：jps
4、测试
在WASlave1节点创建一个名为test的topic
bin/kafka-topics.sh --create --zookeeper 192.168.1.117:2181 --replication-factor 1 --partitions 1 --topic test按以下命令启动一个生产者，然后在中端口输入任意字符
bin/kafka-console-producer.sh --broker-list WAMaster:9092 --topic test
在WAMaster节点启动一个消费者，会看到生产者终端输入的字符
bin/kafka-console-consumer.sh --zookeeper 192.168.1.119:2181 --topic test --from-beginning
