Kafka学习总结二

producer生产数据:
producer采用推(push)模式将消息发布到broker,每条消息都被追到(append)到分区(partition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)

Broker和Zookeeper存储数据:
broker一般数据存在logs下面,Zookeeper用命令(ls /)逐级查看

Consumer消费数据:
每一个消费者可以消费不同分区的数据,同一组消费者不能消费同分区的数据。

高级消费者和低级消费者:
高级消费者优点:不用手动设置分区指定offset即可访问topic。 缺点:不能指定offset访问数据
低级消费者优点:能指定offset访问数据

Kafka与Flume对比
Flume:
1.适用与多数据源采集数据(根据后台服务器数量设置agent个数)
2.适合少量消费者(不便于改动conf文件)
3.使用与hadoop生态圈交互
4:适合安全性不高的操作(大多channel的type都是memory(快),另一个file一般用于安全性较高的操作)
Kafka:
1.适合多个消费者消费数据(创建不同组的消费者即可)
2.适合安全性较高的操作(副本机制)

Flume与Kafka集成:
一般公司所用模型:后台服务器数据 --> Flume(多数据源)–> Kafka(多部门) --> 离线和实时处理数据

猜你喜欢

转载自blog.csdn.net/qq_43151441/article/details/88982295
今日推荐