学习目标
初始化环境准备
安装 JDK
安装JDK参考链接:https://blog.csdn.net/wzc8961661/article/details/104954079
安装 Zookeeper ,并保证 zk 服务正常启动
安装Zookeeper参考链接:https://blog.csdn.net/weixin_43563705/article/details/103479545
下载安装包并上传解压
node01 执行以下命令,下载并解压
//下载目录
cd /export/softwares
//下载kafka
wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
//解压目录
tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
解压命令
node01服务器修改 kafka 配置文件
node01执行以下命令进入到kafka的配置文件目录,修改配置文件
node01执行以下命令创建数据文件存放目录
//创建 kafka 日志存放logs
mkdir -p /export/servers/kafka_2.11-1.0.0/logs
//进入该目录 修改配置文件
cd /export/servers/kafka_2.11-1.0.0/config
修改:vim server.properties 配置文件
主要修改配置:
- broker.id=0(每个节点id不能重复):kafka集群角色的唯一id
- log.dirs=/export/servers/kafka_2.11-1.0.0/logs(kafka日志存放路径)
- zookeeper.connect=node01:2181,node02:2181,node03:2181(zk节点)
- delete.topic.enable=true(自行添加):是否可以动态删除topic数据
- host.name=node01(自行添加,配置哪个节点就修改对应主机名或IP)
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node01
安装包分发到其他服务器(node02,node03)
node01执行以下命令,将node01服务器的kafka安装包发送到node02和node03服务器上面去
cd /export/servers/
scp -r kafka_2.11-1.0.0/ node02:$PWD
scp -r kafka_2.11-1.0.0/ node03:$PWD
node02 与 node03 服务器修改配置文件
node02与node03服务器修改kafka配置文件
node02使用以下命令修改kafka配置文件
cd /export/servers/kafka_2.11-1.0.0/config
修改:vim server.properties 配置文件
主要修改配置:
- broker.id=1(每个节点id不能重复):kafka集群角色的唯一id
- log.dirs=/export/servers/kafka_2.11-1.0.0/logs(kafka日志存放路径)
- zookeeper.connect=node01:2181,node02:2181,node03:2181(zk节点)
- delete.topic.enable=true(自行添加):是否可以动态删除topic数据
- host.name=node02(自行添加,配置哪个节点就修改对应主机名或IP)
broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node02
node03使用以下命令修改kafka配置文件
cd /export/servers/kafka_2.11-1.0.0/config
修改:vim server.properties 配置文件
主要修改配置:
- broker.id=2(每个节点id不能重复):kafka集群角色的唯一id
- log.dirs=/export/servers/kafka_2.11-1.0.0/logs(kafka日志存放路径)
- zookeeper.connect=node01:2181,node02:2181,node03:2181(zk节点)
- delete.topic.enable=true(自行添加):是否可以动态删除topic数据
- host.name=node03(自行添加,配置哪个节点就修改对应主机名或IP)
broker.id=2
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node03
kafka 集群启动与停止
注意事项:在kafka启动前,一定要让zookeeper启动起来。
node01,node02,node03三台节点执行以下命令将kafka进程启动在后台
//进入kafka
cd /export/servers/kafka_2.11-1.0.0
// 各节点启动kafka
// nohup:将启动信息写入nohup这个文件中
// ./bin/kafka-server-start.sh config/server.properties:
// 启动 server,启动的是刚刚修改好的配置文件
// & :后台运行
node01:nohup ./bin/kafka-server-start.sh config/server.properties &
node02:nohup ./bin/kafka-server-start.sh config/server.properties &
node03:nohup ./bin/kafka-server-start.sh config/server.properties &
node01,node02,node03三台节点执行以下命令将kafka进程停止
// 进入kafka
cd /export/servers/kafka_2.11-1.0.0
// 停止 kafka集群
bin/kafka-server-stop.sh