kafka配置文件

Posted 2020-12-17 gudanaimei

 

仅罗列一些常用基本配置，更多配置请到查看

https://www.orchome.com/472

 

server.properties配置文件

###kafka服务和系统相关###
#broker id,代表当前主机，集群里唯一
broker.id=1
#监听地址和端口，producter、consumer连接的端口，默认9092
listeners=PLAINTEXT://1.1.1.3:9092
#broker处理消息的最大线程数，一般情况下数量为cpu核数
num.network.threads=3
#broker处理磁盘IO的线程数，数值为cpu核数2倍
num.io.threads=8
#socket的发送缓冲区
socket.send.buffer.bytes=102400
#socket的接受缓冲区
socket.receive.buffer.bytes=102400
#socket请求的最大数
socket.request.max.bytes=104857600

###zookeeper相关###
#zookeeper集群地址
zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
#zookeeper集群的连接超时时间
zookeeper.connection.timeout.ms=18000

###数据相关###
#kafka数据的存放地址，多个地址的话用逗号分割
log.dirs=/tmp/kafka-logs
#数据文件保留时长
log.retention.hours=168
#每个segment的大小
log.segment.bytes=1073741824
#文件大小检查的周期时间
log.retention.check.interval.ms=300000


###topic相关###
#每个topic的分区个数
num.partitions=1

#副本个数
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

#消费者分组协调者
group.initial.rebalance.delay.ms=0

 

producer.properties配置文件

#kafka集群列表，用于获取metadata，不必全部指定，多个用","分开
bootstrap.servers=localhost:9092

#是否压缩，默认0表示不压缩，1表示用gzip压缩，2表示用snappy压缩
compression.type=none

#分区策略。默认kafka.producer.DefaultPartitioner：通过key哈希到对应分区
partitioner.class=kafka.producer.DefaultPartitioner

#消息发送的最长等待时间
request.timeout.ms=10000

max.block.ms=
linger.ms=

#请求的最大字节数
max.request.size=

#当将多个记录被发送到同一个分区时，Producer 将尝试将记录组合到更少的请求中
batch.size=

#等待被发送的缓冲区
buffer.memory=

 

consumer.properties文件

#kafka集群列表，不必全部指定，多个用","分开
bootstrap.servers=localhost:9092

#组ID
group.id=

#kafka集群的心跳间隔，默认3000
heartbeat.interval.ms=