#kafka中的几个常见问题 V1版
1,每个topic的分区中有多个segment,一个分区会被分成相同大小数据数量不等的segment,数据的生命周期就是指的是segment的生命周期
2,数据的存储机制:
首先是Broker接受到数据,将数据放到操作系统的缓存里,(pagecache),
pagecache会尽可能多的使用空闲内存,
使用sendfile技术尽可能多的减少操作和应用程序之间地重复缓存
写数据的时候使用的是顺序写入,顺序写入的速度可达600M/s
3,kafka是怎么负载均衡的呢?
首先获取Consumer消费的起始分区号,然后计算出Consumer要消费的分区数量,用起始分区号的hash值%分区数,
目的是更好的消费数据
4,数据是怎么分发的?
kafka默认调用自己的分区器(DefaultPartitioner),当然也可以自定义分区器,需要实现partitioner特质,实现partition方法
5,怎么保证数据不丢失呢?
kafka的多副本机制就保证了数据的不丢失,副本数是在创建topic是指定的。