版权声明：Copyright ©2018-2019 凉白开不加冰 版权所有 https://blog.csdn.net/qq_21082615/article/details/91490286
介绍：此文章中会介绍怎么部署kafka单机以及集群模式，如何测试生产消息、消费消息
一、环境需要JDK
1、上传jdk文件到服务器
2、创建软链
ln -s jdk1.8.0_121 jdk8
3、配置环境变量
vi /etc/profile
JAVA_HOME=/usr/local/jdk8
PATH=$PATH:$JAVA_HOME/bin
export PATH
4、让环境变量生效
source /etc/profile
二、下载配置kafka
1、下载kafka目录/usr/local
wget http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
2、解压重命名
tar zxvf kafka_2.11-2.1.0.tgz
mv kafka_2.11-2.1.0.tgz kafka
3、启动zookeeper
cd kafka
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
4、创建topic test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
5、查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181 test
6、产生消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
7、消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
三、单机多broker集群配置
1、复制配置文件
cp config/server.properties config/server-1.properties
2、编辑配置文件
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
3、启动服务
bin/kafka-server-start.sh config/server-1.properties &
4、生产消息消费消息跟上面一样
四、多机多broker集群配置
1、分别在多个节点按上述方式安装Kafka，配置启动多个Zookeeper 实例。
例如：在192.168.0.117,192.168.0.118,192.168.0.119三台机器部署，Zookeeper配置如下：
initLimit=5
syncLimit=2
server.1=192.168.0.117:2888:3888
server.2=192.168.0.118:2888:3888
server.3=192.168.0.119:2888:3888
2、分别配置多个机器上的Kafka服务 设置不同的broke id，zookeeper.connect设置如下:
zookeeper.connect=192.168.0.117:2181,192.168.0.118:2181,192.168.0.119:2181
3、启动Zookeeper与Kafka服务，按上文方式产生和消费消息，验证集群功能。