【精】Kafka简单总结

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/fenglixiong123/article/details/86307755

1.kafka架构
    生产者、消费者、zookeeper、broker、主题—>分区—>副本因子

2.主题:创建、修改、删除

3.分区:从主题下进行分区
    单独的一个分区的消息是有序且不可修改
    但是多个分区之间的数据是无序的
消息怎么知道进入特定的分区?--消息的组成部分Key-value

4.副本
    副本因子数应当小于可用的broker数
    leader和follower    leader与外界进行读写操作,follower采取拉的方式与leader同步

5.消费组
    同一个消费组中的消费者应该小于等于所操做主题下的分区数,如果小于的话,正好成倍

6.同步与异步
    同步:消息发送给kafka后,在此等待返回结果
    异步:消息先发送到阻塞队列中,通过轮训方式将阻塞队列中消息发送给kafka

7.kafka与zk
    多个broker之间会存在一个controller broker的角色

8.日志策略

     因为kafka是存储在本地硬盘上的,会产生硬盘空间不足的情况

     可以通过删除或者合并的策略来清理空间,指定时间来清理

猜你喜欢

转载自blog.csdn.net/fenglixiong123/article/details/86307755
今日推荐