kafka集群安装与使用

版权声明：本文为RoundYuan原创文章，转载请注明出处! https://blog.csdn.net/ProgramMonika/article/details/83051596

kafaka中的名词：
Broker：安装kafka服务大那台机器就是一个broker （id要唯一）

Producer：消息的生产者，负责将数据写入到broker中（push）

Consumer：消息的消费者，负责从kafka中读取数据（pull），老版本
的消费者依赖zk，新版本的不需要

Topic：主题，相当于是数据的一个分类，不同topic存放不同的数据

Consumer Group：消费者组，一个topic可以有多个消费者同时消费，多个消费者
多个消费者如果在同一个消费组中不用重复消费

---

kafka集群安装

1、下载解压安装包
2、配置文件（sercer.propertise）
broker.id=0
host.name 监听地址
log.dir = 
zookeeper.connect = {}:2181
		zookeeper.connect
5.将配置好的kafka拷贝到其他机器上
6、修改broker.id 和 host.name

---

启动kafka

（启动脚本）/usr/local/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh
（守护进程）-daemon
（配置文件）/usr/local/kafka_2.11-0.8.2.2/config/server.properties

往kafka写入命令
#查看topic信息
/bigdata/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --list --zookeeper node-1:2181,node-2:2181

#创建topic
kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 3 --topic yuan

#往Kafka的topic中写入数据(命令行的生成者)
kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic yuan

#启动消费者
kafka-console-consumer.sh --zookeeper node1:2181,node2:2181,node3:2181 --topic yuan --from-beginning

topic信息是保存在zookeeper中的