Kafka安装部署与Java调用（单机版）

Kafka-安装部署（单机版）

1、下载安装文件

#cd /home

#wget kafka_2.11-0.11.0.2.tgz

2、安装

(1).解压安装文件

#tar -xzvf kafka_2.11-0.11.0.2.tgz

#mv kafka_2.11-0.11.0.2 kafka

3、修改配置文件

vi kafka/config/server.properties

vi kafka/config/producer.properties

vi kafka/config/consumer.properties

注：此处配置的为单击版kafka服务器，所有IP地址均为本机的IP

4、启动服务

进入kafka安装目录：#cd /home/kafka
先启动zookeeper

nohup bin/zookeeper-server-start.sh config/zookeeper.properties >zook.log 2>&1 &

再启动kafka

nohup bin/kafka-server-start.sh config/server.properties >kafka.log 2>&1 &

5、停止服务

#ps -ef|grep kafka
#kill 进程id

6、验证

查看程序运行状态
ps -ef|grep kafka

Kafka-Java调用（单机版）

1、配置文件-application.properties：

2、jar包坐标-pom.xml：

3、工具类：

4、测试类：

5、windows-hosts配置：

Kafka-命令（单机版）

1.启动zookeeper
sh /usr/local/zookeeper/bin/zkServer.sh start #单独的zookeeper启动
/home/kafka/bin/zookeeper-server-start.sh -daemon /home/kafka/config/zookeeper.properties #kafka自带的zookeeper启动

2.启动Kafka
/home/kafka/bin/kafka-server-start.sh -daemon /home/kafka/config/server.properties

3.创建一个话题
/home/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.50.119:2181 --replication-factor 1 --partitions 1 --topic test-topic
#replication-factor：将任意一个分区复制到N个broker 上，这样如果一个broker 挂了，我们仍然可以从另一个broker 上获取到消息
#partitions：分区数量

4.发送消息
/home/kafka/bin/kafka-console-producer.sh --broker-list 192.168.50.119:9092 --topic test-topic

5.消费消息
/home/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.50.119:2181 --topic test-topic #实时消费
/home/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.50.119:2181 --topic test-topic --from-beginning #从头开始消费

6.查看已创建topic列表
/home/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.50.119:2181

7.查看topic属性
/home/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.50.119:2181 --topic test-topic

8.删除topic
/home/kafka/bin/kafka-topics.sh --zookeeper 192.168.50.119:2181 --delete --topic test-del
（1）登录zookeeper客户端：命令：/home/kafka/bin/zookeeper-shell.sh 192.168.50.119:2181
（2）找到topic所在的目录：ls /brokers/topics
（3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。

9.查看分组消费情况
/home/kafka/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.50.119:9092 --describe --group test-group

10.查看所有分组列表
/home/kafka/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.50.119:9092 --list