kafka
1、是什么
分布式流媒体平台,允许发不和记录流
允许以容错的方式存储记录流
可以处理记录流
2、应用
构建在系统和应用程序之间的实时流数据
变换流
3、核心概念
以topics为区分记录和分发流。
每个记录由一个键,值和时间戳组成
4、核心API
producer:生产流数据 (ip,zk,topic,data)
consumer:消费流数据(topic ,zk,clientid,groupid)
streams:作为流处理器
connector:连接重用
消费保存时,zookeeper地址能有效的防止应为某一个错误而导致的不可用。
5、简单命令
创建
bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic atest
查看
bin/kafka-topics.sh –list –zookeeper localhost:2181
发送
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic atest
消费
bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic atest –from-beginning
停止
pkill -9 -f config/server.properties
彻底删除
server.properties delete.topic.enable=true
./bin/kafka-topics –delete –zookeeper localhost:2181 –topic atest
zookeeper使用localhost是可能会脑抽,此时可以换成主机名或ip