kafka使用笔记-免认证kafka单机环境搭建及测试

本次使用的kafka为最新的版本，zookeeper均使用kafka自带版本，仅对相关进行配置即可。

一、准备工作

1、环境：ubuntu16
2、安装包：打开此链接选择下载的路径和相应的数据包，我下载的是 kafka_2.11-2.1.0.tgz 版本
3、安装jdk
jdk分为以下几种：jre、openjdk、 oracle jdk，这里我们要安装的是oracle jdk（推荐安装），过程：

add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java8-installer
apt-get install oracle-java8-set-default

二、安装免认证Kafka环境

1、解压安装包
将已下载的安装包拷贝到机器的目录（目录没有限制）后，直接解压。

tar -zxvf kafka_2.10-0.10.1.0

解压后的目录结构如下图所示：
在这里插入图片描述
2、修改配置项
以下3步的修改2）和3）不是必须的，可以根据自己的情况决定。
1）配置kafka的服务监听端口
进入刚解压的目录，进入config/目录，打开kafka的配置文件server.properties文件，查找字段 host_name:port ，根据自己的IP地址修改，如下图所示，左侧为已经修改的配置项。
kafka配置修改
2）配置Kafka的日志存储目录
同样是上述1）的文件，查找字段 log.dirs= ，修改为自定义的日志存储路径即可。如下图所示，左侧为我自己自定义的目录（目录必须存在）。
在这里插入图片描述
3）配置zookeeper的日志存储目录
在config/目录下，打开配置文件 zookeeper.properties 修改下图所示的字段即可（目录必须存在）。

3、启动
由于kafka是以zookeeper (zookeeper是什么？) 作为文件系统，所以在启动kafka服务之前需要先启动zookeeper服务。进入bin/目录，执行以下命令：
1）后台启动zookeeper服务

./zookeeper-server-start.sh -daemon  ../config/zookeeper.properties

2）后台启动Kafka服务

./kafka-server-start.sh -daemon ../config/server.properties

查看日志文件，确保zookeeper和kafka的启动没有异常（我没有修改默认的日志路径）：
在这里插入图片描述
3）为了方便将两个命令合成了两个脚本，用于启停服务，脚本在kafka解压文件的根目录下，见二、-1中结构，脚本如下：
启动服务

#/bin/bash
#启动zookeeper
bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties
#启动kafka
bin/kafka-server-start.sh -daemon config/server.properties

停止服务

#/bin/bash
#停止zookeeper
bin/kafka-server-stop.sh
#停止kafka
bin/zookeeper-server-stop.sh

4、测试
使用kafka自带的脚本我们可以对kafka进行简单的测试。进入bin/目录，执行以下脚本进行测试。
1）生产数据

./kafka-console-producer.sh --broker-list 192.168.207.132:9092 --topic test

如下图所示。
a. 等待输入生产的数据
等待输入数据
b. 输入生产数据后回车，并没有报错，说明数据生产成功，可以用消费脚本查看
在这里插入图片描述
2）消费数据

./kafka-console-consumer.sh  --bootstrap-server 192.168.207.132:9092  --topic test --from-beginning

需要注意的是参数 --from-beginning 表示消费全量，具体的含义请查阅其他资料
如下图所示，主题为test的所有数据。
在这里插入图片描述

综上，kafka的免验证环境搭建到验证就结束了，下一篇搭建基于SASL认证的kafka伪集群服务