单机版kafka安装部署文档
一、环境准备
1. 依赖jdk
2. 依赖zookeeper
我们这里直接使用kafka内置的zookeepoer,简单方便
二、下载kafka、解压
1. 官网免费下载
http://kafka.apache.org/downloads
2. 解压
指定目录解压文件
tar -zxvf kafka_2.11-2.1.0.tgz -C /opt/bigdata
三、修改配置文件
1. 修改kafka核心配置server.properties
cd /opt/bigdata/kafka_2.11-2.1.0/
vim config/server.properties
#单机版只需修改,消息存放路径即可
#其他配置使用默认
log.dirs=/opt/bigdata/kafka_2.11-2.1.0/kafka-logs
修改完成后创建消息存放目录
mkdir /opt/bigdata/kafka_2.11-2.1.0/kafka-logs
2. 修改内置zk的配置zookeeper.properties
vim config/zookeeper.properties
#指定zk元数据存放路径
dataDir=/opt/bigdata/kafka_2.11-2.1.0/zdata
修改完成后创建zk元数据存放目录
mkdir /opt/bigdata/kafka_2.11-2.1.0/zdata
三、启动服务(这里提供两种启动方式)
启动方式一
先启动zk
cd /opt/bigdata/kafka_2.11-2.1.0/
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
启动 kafka
cd /opt/bigdata/kafka_2.11-2.1.0/
nohup bin/kafka-server-start.sh config/server.properties &
启动方式二
先启动zk
cd /opt/bigdata/kafka_2.11-2.1.0/
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
启动 kafka
cd /opt/bigdata/kafka_2.11-2.1.0/
bin/kafka-server-start.sh -daemon config/server.properties
四、验证服务是否成功启动
验证步骤
1. 查看进程是否存在:
jps
结果应如下图
2. 创建一个测试用的topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
3. 创建控制台生产者生产数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
执行效果如下图:
4. 创建消费者消费数据
打开另一个终端,开启消费者
cd /opt/bigdata/kafka_2.11-2.1.0/
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
命令执行后,在生产者终端输入数据,效果如下图:
五、关闭
正常关闭流程
- 关闭控制台生产者
Ctrl+c
- 关闭控制台消费者
Ctrl+c
- 关闭kafka服务
bin/kafka-server-stop.sh
- 关闭zk服务
bin/zookeeper-server-stop.sh