kafka相关配置参数说明

#每个broker在集群中的唯一标识,即使broker的IP地址发生了变化,broker.id只要没变,则不会影响consumers的消息情况
broker.id=0

#是否允许topic被删除,如果是false,使用管理员工具删除topic的时候,kafka并不会处理此操作
#delete.topic.enable=true

#kafka 服务端是否可以根据请求自动创建topic,默认是true,如果打开此项,下面三种请求会触发topic自动创建
#1、producer 向某个不存在的topic写入消息
#2、consumer从某个不存在的topic读取消息
#3、fetch从某个不存在的topic读取消息
#建议此项设置为false,并在使用topic之前手工创建
#auto.create.topics.enable=true

#kafka server 使用的协议,主机名以及端口的格式如下
#     listeners = listener_name://host_name:port
#参考案例
#     listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://:9092

#接收请求的线程数
num.network.threads=3

#执行请求的线程数
num.io.threads=8

#下面两个缓冲区介绍一下背景
#每个TCP socket 的内核中都有一个发送缓冲区(SO_SNDBUF) 和一个接收缓冲区(SO_RCVBUF)
#接收缓冲区把数据缓存在内核,应用进程一直没有调用read进行读取的话,此数据会一直缓存在相应socket的接收缓冲区内,
#数据都会经由内核接收并且缓存到socket的内核接收缓冲区中,read所做的工作,就是把内核缓冲区中的数据复制到应用层用户的buffer里面

#tcp连接的SO_SNDBUF 缓冲区大小,默认是102400 ,单位是字节。如果是-1,就使用操作系统的默认值
socket.send.buffer.bytes=102400

#tcp连接的SO_RCVBUF 缓冲区大小,默认是102400 ,单位是字节。如果是-1,就使用操作系统的默认值
socket.receive.buffer.bytes=102400

#请求的最大长度
socket.request.max.bytes=104857600


#用于存储log文件的目录,可以将多个目录通过逗号分隔,形成一个目录列表
log.dirs=E:\\log

#每个topic默认的partition数量,默认值是1
num.partitions=1

#用来恢复log文件以及关闭时将log数据刷新到磁盘的线程数量,每个目录对应一个值
num.recovery.threads.per.data.dir=1



#每隔多少个消息触发一次flush 操作,将内存中的消息刷新到硬盘上
#log.flush.interval.messages=10000

#每隔多少毫秒触发一次flush操作,将内存中的消息刷新到硬盘上
#log.flush.interval.ms=1000
#上面这两个配置是全局的,可以在topic中重新设置,并覆盖这两个配置



#注意:下面有两种配置,一个种是基于时间的策略,另一种是基于日志文件大小的策略,两种策略同时配置的话
#主要满足其中一种策略,则触发log删除的操作,删除操作总是先删除最旧的日志

#消息在kafka中保存的时间,168小时之前的log,可以被删除掉
log.retention.hours=168

#当剩余空间低于log.retention.bytes字节,则开始删除log
#log.retention.bytes=1073741824

#segment日志文件大小的上限值,当超过这个值时,会创建新的segment日志文件
log.segment.bytes=1073741824

#每隔300000毫秒,logcleaner线程将检查一次,看是否符合上述 保留策略的消息可以被删除
log.retention.check.interval.ms=300000

############################# Zookeeper #############################

#kafka依赖的zookeeper集群地址,可以配置多个zookeeper地址,使用逗号隔开
zookeeper.connect=192.168.1.106:2181

#zookeeper连接的超时时间
zookeeper.connection.timeout.ms=6000

更多请关注微信公众号
这里写图片描述

猜你喜欢

转载自blog.csdn.net/paicmis/article/details/80561406
今日推荐