阿里云服务器CentOS8安装Kafka

1. 概述

Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于大数据实时处理领域，本文主要介绍如何在阿里云服务器上安装Kafka，由于kafka需要依赖于zookeeper，需要提前安装zookeeper，有需要了解如何安装zookeeper的小伙伴，请参阅Zookeeper3.6搭建单机版和集群版。

2. 下载安装包

打开Kafka官网，下载kafka安装包

3. 安装部署

3.1. 上传安装包并解压

将下载的安装包上传到服务器/opt目录，使用命令：tar -zxvf kafka_2.12-3.0.0.tgz解压安装包

[root@iZbp1497ru6iymjlzps6yxZ opt]# tar -zxvf kafka_2.12-3.0.0.tgz

3.2. 安装

修改解压后的文件名称

mv kafka_2.12-3.0.0 kafka-2.12-3

在/opt/kafka-2.12-3目录下创建logs文件夹

[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# mkdir logs

修改配置文件

[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# cd config/
[root@iZbp1497ru6iymjlzps6yxZ config]# vi server.properties

输入以下内容：

#删除topic功能开启
delete.topic.enable=true
listeners=PLAINTEXT://内网IP:9092
advertised.listeners=PLAINTEXT://外网IP:9092
#kafka运行日志存放路径
log.dirs=/opt/kafka-2.12-3/logs
#配置zookeeper连接地址
zookeeper.connect=localhost:2181

配置环境变量

[root@iZbp1497ru6iymjlzps6yxZ ~]# vi /etc/profile

在环境变量中新增如下配置

# kafka
export KAFKA_HOME=/opt/kafka-2.12-3
export PATH=$PATH:$KAFKA_HOME/bin

执行命令：source /etc/profile是配置文件生效

[root@iZbp1497ru6iymjlzps6yxZ ~]# source /etc/profile

4. 启动kafka

使用下面命令启动kafka

[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# bin/kafka-server-start.sh -daemon config/server.properties

使用命令jps查看kafka是否启动成功

[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# jps
183526 Kafka
183676 Jps

关闭kafka命令

[root@iZbp1497ru6iymjlzps6yxZ kafka-2.12-3]# bin/kafka-server-stop.sh stop

5. 其他常用命令

创建topic命令

[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --create --topic test --bootstrap-server IP内外:9092 --replication-factor 1 --partitions 3

–topic：定义topic名称
–replication-factor：定义副本数
–partitions：定义分区数
查看当前服务器中所有topic

[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --list --bootstrap-server IP内外:9092

查看某个topic详情

[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --describe --topic test --bootstrap-server 内网IP:9092
Topic: test     TopicId: yJtzZa-cSsuw58RaXMR4rA PartitionCount: 3       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: test     Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: test     Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: test     Partition: 2    Leader: 0       Replicas: 0     Isr: 0

删除topic

[root@iZbp1497ru6iymjlzps6yxZ bin]# ./kafka-topics.sh --delete --topic test --bootstrap-server 172.23.225.210:9092