kafka 快速入门指南

一、安装jdk

---

yum install java-1.8.0-openjdk* -y
java -version

二、安装zookeeper

wget https://downloads.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz
cd  apache-zookeeper-3.5.9-bin
cp conf/zoo_sample.cfg conf/zoo.cfg

启动命令

bin/zkServer.sh start
bin/zkCli.sh 
ls /			#查看zk的根目录相关节点

三、安装kafka及常用命令操作

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz 
tar -xzf kafka_2.11-2.4.1.tgz
cd kafka_2.11-2.4.1

修改配置

vim config/server.properties:

broker.id=0  #broker.id属性在kafka集群中必须要是唯一
listeners=PLAINTEXT://192.168.65.65:9092   #kafka部署的机器ip和提供服务的端口号
log.dir=/data/kafka-logs #kafka的消息存储文件
zookeeper.connect=192.168.65.65:2181 #kafka连接zookeeper的地址

启动kafka

1、后台启动，不会打印日志到控制台
   #后台启动，

2、打印日志到控制台
bin/kafka-server-start.sh config/server.properties &

ps -ef |grep kafka  # 查看是否启动成功

启动成功后查看是否注册到zookeeper

bin/zkCli.sh 
ls /		#查看zk的根目录kafka相关节点
ls /brokers/ids	#查看kafka节点

停止kafka

bin/kafka-server-stop.sh

常用操作：
1、创建主题
当producer发布一个消息到某个指定的Topic，这个Topic如果不存在，就自动创建。当然我们也可使用命令创建。
现在创建一个名字为“test”的Topic，这个topic只有一个partition，并且备份因子也设置为1：

bin/kafka-topics.sh --create --zookeeper 192.168.65.65:2181 --replication-factor 1 --partitions 1 --topic test

2、查看kafka中目前存在的topic

bin/kafka-topics.sh --list --zookeeper 192.168.65.65:2181

3、删除主题
bin/kafka-topics.sh --delete --topic test --zookeeper 192.168.65.65:2181
4、发送消息

bin/kafka-console-producer.sh --broker-list 192.168.65.65:9092 --topic test 
>hello 86
>hello 86 go

5、消费消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.65:9092 --topic test