CentOS6.5 部署Kafka集群

在部署前需确保网络正常及已安装JDK和Zookeeper环境

JDK安装教程

部署 Zookooper

部署Kafka

创建相关目录

mkdir -p /home/modfun
cd /home/modfun

下载 Kafka

# 下载
wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
# 解压
tar zxf kafka_2.11-1.1.0.tgz

创建kafka依赖目录

# 消息日志持久化目录
mkdir -p /data/kafka/log

修改配置文件

cd kafka_2.11-1.1.0
vim config/server.properties

修改内容如下

# 一次修改多台（集群）的borker.id 从 0 开始
border.id=0

# 解除注释
listeners=PLAINTEXT://:9092

# 修改主机名为本机内网IP
host.name=172.27.1.1
# 设置处理消息最大值
message.max.bytes=2000000
fetch.message.max.bytes=2000000

# 对外发布的主机名
# advertised.host.name=172.27.1.1

# 修改日志存放目录
log.dirs=/data/kafka/log

# 设置分区数，为Topic创建分区时，分区数最好是broker数量的整数倍，这样才能是一个Topic的分区均匀的分布在整个Kafka集群中
num.partitions=3

# 修改Zookeeper集群的IP和端口
zookeeper.connect=172.27.1.1:2181,172.27.1.2:2181,172.27.1.3:2181

# 添加启用删除topic配置
delete.topic.enable=true

启动kafka

# 添加守护的方式启动
bin/kafka-server-start.sh -daemon ./config/server.properties

停止kafka

kill -9 {pid}