# broker在集群中的唯一标识(>=0),当该服务器的IP地址发生改变时，broker.id没有变化，不会影响consumers broker.id =0 # kafka数据的存放地址，多个地址的话用逗号分割 /opt/log/kafka/logs1，/opt/log/kafka/logs2 log.dirs=/opt/log/kafka/logs # broker server服务端口 port =9092 # 是否允许自动创建topic，若是false，就需要通过命令创建topic auto.create.topics.enable =true # 每个topic的分区个数，若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖 num.partitions =10 # 表示消息体的最大大小，单位是字节 message.max.bytes =6525000 # broker处理消息的最大线程数，一般情况下不需要去修改 num.network.threads =4 # broker处理磁盘IO的线程数，数值应该大于你的硬盘数 num.io.threads =8 # 一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改 background.threads =4 # 等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，是一种自我保护机制。 queued.max.requests =500 # socket的发送缓冲区，socket的调优参数SO_SNDBUFF socket.send.buffer.bytes=100*1024 # socket的接受缓冲区，socket的调优参数SO_RCVBUFF socket.receive.buffer.bytes =100*1024 # socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，会被topic创建时的指定参数覆盖 socket.request.max.bytes =100*1024*1024 # *******************以下为日志定时清除策略*********************** # 设置每个segment的大小为200*1024*1024 【200M】,超过大小重新创建新的segment log.segment.bytes=209715200 # 日志清理策略选择有：delete和compact主要针对过期数据的处理，delete 为不可恢复；compact 为压缩 log.cleanup.policy = delete # 每5分钟【5*60*1000】检查一次是否有segment已经超过5h没更新，如果有则标记为.deleted log.retention.check.interval.ms=300000 log.retention.hours=5 # topic每个分区的最大文件大小5G，一个topic的大小限制 = 分区数*log.retention.bytes。-1没有大小限,log.retention.bytes和log.retention.hours 任意一个达到要求，都会执行删除(标记为.deleted) log.retention.bytes=5368709120 # 10分钟检查一次是否有被 标记为deleted的segment，如果有将其从文件系统删除 log.cleaner.backoff.ms=600000 # 对于压缩的日志保留的最长时间，也是客户端消费消息的最长时间，同log.retention.minutes/hours的区别在于一个控制未压缩数据，一个控制压缩后的数据。会被topic创建时的指定参数覆盖 log.cleaner.delete.retention.ms =1day # 是否开启日志压缩 log.cleaner.enable=false # 日志压缩运行的线程数 log.cleaner.threads = 2 # 日志压缩时候处理的最大大小 log.cleaner.io.max.bytes.per.second=None # 日志压缩去重时候的缓存空间，在空间允许的情况下，越大越好 log.cleaner.dedupe.buffer.size=500*1024*1024 # 对于segment日志的索引文件大小限制，会被topic创建时的指定参数覆盖 log.index.size.max.bytes =10*1024*1024
其他参数使用默认的即可