Kafka简单介绍
Apache Kafka是一个分布式的 发布 - 订阅 消息传递系统和一个强大的队列，Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统), Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 Kafka可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息被保存在磁盘上并在集群内复制以防止数据丢失。 Kafka建立在ZooKeeper同步服务之上。 它与Apache Storm和Spark完美集成，用于实时流数据分析。
优点:
- 可靠性 —卡夫卡是分布式，分区，复制和容错。
- 可扩展性 — Kafka消息系统无需停机即可轻松扩展。
- 耐用性 — Kafka使用分布式提交日志，这意味着消息尽可能快地保留在磁盘上，因此它是持久的。
- 性能 —Kafka对于发布和订阅消息都有很高的吞吐量。 它保持稳定的性能，即使存储了许多TB数据量(级)的消息。
Kafka速度非常快，可确保零停机时间和零数据丢失。
官方下载地址: http://kafka.apache.org/downloads
官方下载包: kafka_2.11-1.1.0.tgz
Kafka依赖Zookeeper
Kafka依赖Zookeeper,可以单独安装Zookeeper,也可以直接启动Kafka包里自带的Zookeeper
MacBook Linux安装Kafka
#解压
tar -zxvf kafka_2.11-1.1.0.tgz
#进入解压目录
cd kafka_2.11-1.1.0
#创建日志目录
mkdir kafka-logs
#修改配置
vim config/server.properties
#指定日志目录
log.dirs=/Users/liang/software/kafka_2.11-1.1.0/kafka-logs
#启动自带的zookeeper,也可以使用外部的zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
#后台方式启动
#bin/zookeeper-server-start.sh config/zookeeper.properties &
#bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &
#启动kafka服务
bin/kafka-server-start.sh config/server.properties
#后台方式启动
#bin/kafka-server-start.sh config/server.properties &
#bin/kafka-server-start.sh -daemon config/server.properties &
#nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &
#停止kafka
bin/kafka-server-stop.sh
#停止zookeeper
bin/zookeeper-server-stop.sh
常用命令
#查询topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
#创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
#生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test
参考链接:
https://www.cnblogs.com/dragkiss/p/5668019.html
https://blog.csdn.net/zxy987872674/article/details/72466504
https://colobu.com/2014/08/06/kafka-quickstart/
https://www.cnblogs.com/zhaojiankai/p/7181910.html?utm_source=itdadao&utm_medium=referral