Kafka从入门到精通 第二章 kafka的安装

一  环境准备

1.1 集群规划

这里需要三个节点，分别如下：

linux102                    linux103                linux104
zk                            zk                        zk
kafka                        kafka                    kafka

1.2  下载对应jar包

1.3 准备对应的三台虚拟机

具体安装，这里省略，可以参考我写的centos7.0安装说明！

注意，三台虚拟机需要都安装完毕jdk和zookeeper

1.4 Kafka集群部署 

1）解压安装包

[itstar@linux102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

2）修改解压后的文件名称

[itstar@linux102 module]$ mv kafka_2.11-0.11.0.0/ kafka

3）在/opt/module/kafka目录下创建logs文件夹

[itstar@linux102 kafka]$ mkdir logs

4）修改配置文件

[itstar@linux102 kafka]$ cd config/

[itstar@linux102 config]$ vi server.properties

输入以下内容：

#broker的全局唯一编号，不能重复 broker.id=0 #是否允许删除topic delete.topic.enable=true #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘IO的线程数量 num.io.threads=8 #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 #接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 #请求套接字的最大缓冲区大小 socket.request.max.bytes=104857600 #kafka运行日志存放的路径 log.dirs=/opt/module/kafka/logs #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1 #segment文件保留的最长时间，超时将被删除 log.retention.hours=168 #配置连接Zookeeper集群地址 zookeeper.connect=linux105:2181,linux106:2181,linux107:2181

5）配置环境变量

[root@linux102 module]# vi /etc/profile

#KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin

[root@linux102 module]# source /etc/profile

6）分发安装包

[root@linux102 etc]# xsync profile

[itstar@linux102 module]$ xsync kafka/

7）分别在linux103和linux104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

       注：broker.id不得重复

 

二  Kafka的目录结构

Kafka目录介绍 
- /bin 操作kafka的可执行脚本，还包含windows下脚本 
- /config 配置文件所在目录 
- /libs 依赖库目录 
- /logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller

三  集群的启动测试

1）启动集群

先在每台集群启动zookeeper

 

依次在linux102、linux103、linux104节点上启动kafka

[itstar@linux102 kafka]$ bin/kafka-server-start.sh config/server.properties &

[itstar@linux103 kafka]$ bin/kafka-server-start.sh config/server.properties &

[itstar@linux104 kafka]$ bin/kafka-server-start.sh config/server.properties &

2）查看进程

[root@node1 kafka_2.11-0.11.0.1]# jps
2576 Kafka
2551 QuorumPeerMain
2874 Jps

[root@node2 kafka_2.11-0.11.0.1]# jps
2499 QuorumPeerMain
2821 Jps
2526 Kafka

[root@node3 kafka_2.11-0.11.0.1]# jps
7617 QuorumPeerMain
7650 Kafka
7945 Jps

3）关闭集群

[itstar@linux102 kafka]$ bin/kafka-server-stop.sh stop

[itstar@linux103 kafka]$ bin/kafka-server-stop.sh stop

[itstar@linux104 kafka]$ bin/kafka-server-stop.sh stop