kafka中的几个常见问题

#kafka中的几个常见问题 V1版
1,每个topic的分区中有多个segment,一个分区会被分成相同大小数据数量不等的segment,数据的生命周期就是指的是segment的生命周期

2,数据的存储机制:

首先是Broker接受到数据,将数据放到操作系统的缓存里,(pagecache),

pagecache会尽可能多的使用空闲内存,

使用sendfile技术尽可能多的减少操作和应用程序之间地重复缓存

写数据的时候使用的是顺序写入,顺序写入的速度可达600M/s

3,kafka是怎么负载均衡的呢?

首先获取Consumer消费的起始分区号,然后计算出Consumer要消费的分区数量,用起始分区号的hash值%分区数,

目的是更好的消费数据

4,数据是怎么分发的?

kafka默认调用自己的分区器(DefaultPartitioner),当然也可以自定义分区器,需要实现partitioner特质,实现partition方法

5,怎么保证数据不丢失呢?

kafka的多副本机制就保证了数据的不丢失,副本数是在创建topic是指定的。

猜你喜欢

转载自blog.csdn.net/weixin_43637653/article/details/83929698