Kafka集群配置说明

Posted 2020-08-12 超大的皮卡丘

#kafka数据的存放地址，多个地址的话用逗号分

log.dirs=/tmp/kafka-logs

 

#broker server服务端口

port=9092

 

#这个参数会在日志segment没有达到log.segment.bytes设置的大小，也会强制新建一个segment会被 topic创建时的指定参数覆盖

log.roll.hours=24

 

#是否允许控制器关闭broker ,若是设置为true,会关闭所有在这个broker上的leader，并转移到其他broker

controlled.shutdown.enable=false

 

#控制器关闭的尝试次数

controlled.shutdown.max.retries=3

 

#每次关闭尝试的时间间隔
controlled.shutdown.retry.backoff.ms=5000

 

#partition leader与replicas数据同步时,消息的队列

controller.message.queue.size=10

 

#partition leader与replicas之间通讯时,socket的超时时间

controller.socket.timeout.ms=30000

 

#是否允许自动创建topic，若是false，就需要通过命令创建topic

default.replication.factory=1

 

#表示消息体的最大大小，单位是字节

message.max.bytes=1000000

 

#broker处理磁盘IO的线程数，数值应该大于你的硬盘数

num.io.threads=8

 

#broker处理消息的最大线程数，一般情况下不需要去修改

num.network.threads=3

 

#每个topic的分区个数，若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖

num.partitions=1

 

#leader中进行复制的线程数，增大这个数值会增加relipca的IO

num.replica.fetchers=1

 

#ZooKeeper的连接超时时间

zookeeper.connection.timeout.ms=20000

 

 

 

 

其他参考：