版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/fenglixiong123/article/details/86307755
1.kafka架构
生产者、消费者、zookeeper、broker、主题—>分区—>副本因子
2.主题:创建、修改、删除
3.分区:从主题下进行分区
单独的一个分区的消息是有序且不可修改
但是多个分区之间的数据是无序的
消息怎么知道进入特定的分区?--消息的组成部分Key-value
4.副本
副本因子数应当小于可用的broker数
leader和follower leader与外界进行读写操作,follower采取拉的方式与leader同步
5.消费组
同一个消费组中的消费者应该小于等于所操做主题下的分区数,如果小于的话,正好成倍
6.同步与异步
同步:消息发送给kafka后,在此等待返回结果
异步:消息先发送到阻塞队列中,通过轮训方式将阻塞队列中消息发送给kafka
7.kafka与zk
多个broker之间会存在一个controller broker的角色
8.日志策略
因为kafka是存储在本地硬盘上的,会产生硬盘空间不足的情况
可以通过删除或者合并的策略来清理空间,指定时间来清理