zookeeper单机模式及kafka环境搭建

安装包（Linux环境）：

• zookeeper:zookeeper-3.3.6 .tar.gz
• kafka：kafka_2.11-0.10.1.0.tgz

安装：

1. JDK：使用jdk1.8并配置环境变量
2. 解压zookeeper和kafka到/home/kafka目录下
3. 配置环境变量：在 /etc/profile 中添加如下配置 ，使得环境变量立即生效命令 source /etc/profile
   配置zookeeper单机模式：
4. 配置zookeeper，在/zookeeper-3.3.6/conf下的复制zoo_sample.cfg为zoo.cfg，并将内容修改如下：

tickTime=2000
dataDir=/opt/zookeeper-3.4.6/data
clientPort=2181

2. 配置完成在zookeeper/bin下，启动zookeeper

$ ./zkServer.sh start
JMX enabled by defaultUsing config: /opt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

3. 启动后可以使用下面的命令查看服务状态，查看进程

$ ./zkServer.sh status  //查看状态
JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: standalone

$ jps   //查看进程
13786 QuorumPeerMain

4. Zookeeper服务器启动后，使用Zookeeper的客户端来连接并测试

$ ./zkCli.sh
或
$ ./zkCli.sh -server IP（127.0.0.1或实际ip地址）:2181

配置并启动kafka

1.进入/kafka_2.11-0.10.1.0/config目录，在server.properties中添加如下配置

broker.id=0
listeners = PLAINTEXT://实际IP:9092
log.dirs=/home/hadoop/kafka-logs
zookeeper.connect=实际IP:2181
zookeeper.connection.timeout.ms=60000

2. 启动kafka

$ kafka-server-start.sh $KAFKA_HOME/config/server.properties

3. 输入jps查看进程，如果可以看到Kafka进程，表示启动成功

[root@host-03 config]# jps
23600 Kafka
24193 ConsoleConsumer
13786 QuorumPeerMain
23946 ConsoleProducer
25036 Jps
[root@host-03 config]# jps -m
23600 Kafka /home/kafka_2.11-0.10.1.0/config/server.properties
24193 ConsoleConsumer --bootstrap-server IP:9092 --topic di62 --from-beginning
13786 QuorumPeerMain /home/kafka/zookeeper-3.3.6/bin/../conf/zoo.cfg
23946 ConsoleProducer --broker-list IP:9092 --topic di62
25051 Jps -m

4. 创建topic：在kafka/bin目录下

./kafka-topics.sh --create --zookeeper IP地址:2181 --replication-factor 1 --partitions 1 --topic di62

参数说明： 
–zookeeper：指定kafka连接zk的连接url，该值和server.properties文件中的配置项{zookeeper.connect}一样 
–replication-factor：指定副本数量 
–partitions：指定分区数量 
–topic：主题名称

5. 查看topic

./kafka-topics.sh --list --zookeeper IP地址:2181

6. 启动生成者

./kafka-console-producer.sh  --broker-list  IP地址:9092 --topic di62

7.启动消费者（新版本）

./kafka-console-consumer.sh --bootstrap-server 192.168.16.167:9092 --topic di62 --from-beginning

8. 测试
   生产者生产数据
   
   消费者消费数据
   
   启动一个消费者，去掉后面的参数–from-beginning，看有什么区别
   
   总结：–from-beginning参数如果有表示从最开始消费数据，旧的和新的数据都会被消费，而没有该参数表示只会消费新产生的数据

安装包下载地址：链接: https://pan.baidu.com/s/1W1Fsqta4qxG7mHsqwZSH4A 提取码: uft8