kafka server.properties 配置文件详解

Posted mrrightzhao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka server.properties 配置文件详解相关的知识,希望对你有一定的参考价值。

1.Broker.id
        broker.id=2  一般采用ip的后三位来用来标识是哪台kafka的broker,利于定位和排错
    2.Prot
        tcp用来监控的kafka端口
        listeners=PLAINTEXT://192.168.43.17:9092
    3.Zookeeper.connect
        #kafka连接zk的集群,多个用”,”号隔开
    zookeeper.connect=192.168.43.15:2181,192.168.43.16:2181,192.168.43.17:2181
    #这样写不是很友好,kafka在连上zk后,直接在zk的根目录创建自己需要的文件夹,这样会导致如果有别的项目也在用zk,会导致zk的根目录下特别的乱,kafka会产生一个controller的文件夹,如果别的项目也有controller会导致冲突和混淆,所以推荐以下用法:
    推荐使用:
    zookeeper.connect=192.168.43.15:2181/kafka,192.168.43.16:2181/kafka,192.168.43.17:2181/kafka
    4.Log.dirs(commit log)
        #用来存储日志的路径,它上面存放了多个log segment,如果采用了磁盘阵列,路径可以是多个,    #如果采用了多个存储路径,1个partition只能存放在1个路径下,因为顺序的磁盘读写操作速度    #可以接近随机的内存读写速度
        log.dirs=/var/lib/kafka
    5.num.recovery.threads.per.data.dir=1
        #kafka配置了1个线程池,当kafka启动时打开每个segment,启动失败时检查并截取每个segments
        #服务关闭时,关闭segments的句柄、管道的flush操作,
        num.recovery.threads.per.data.dir=1
    #注意是1个路径默认是1个线程,如果log.dirs配置了3个路径,那么将会有24个线程
    6.auto crteat.topics.enable(配置文件中没有)
        #自动创建1个topic
        #当不存在1个topic时会创建,读的时候会创建1个topic,通过api访问元数据时,如果不存在会创建1个topic
        #但是这个创建的tpoic都是采用默认的配置,因此不建议使用
        # 一般情况下我们设置成false
    7.num.partitions
        #设置partitions 的个数
        num.partitions=1
    8.log.retention.ms
        #日志存放时间,依据是文件最后1次更新文件的时间,这个参数是针对broker的
        log.retention.hours=168                #存放1个星期
    9.log.retention.bytes
        #partition保留数据的大小,这个参数是针对1个partitions 的
        #如果有8个partition,每个partition设置的是1GB,那最多存8GB的东西,超过了就会将老的数据删除
        log.retention.bytes=1073741824
    10.log.segment.bytes
        #设置segment 片断的大小,如果存放的达到了设置的大小,这个segment 将会关闭,并且将会    #创建1个新的打开的segment,如果1个segment达到了设置的大小并且已关闭,那么这个    #segment是可以被删除的,如果这个segment设置的小,则会频繁的创建segment,会影响kafka    #的性能,如果设置的较大,超过了log.retention.ms的保存时间,这样会造成数据不一致或丢失    #的情况,因此,设置每个segment的大小还是要根据业务量来判断
    log.segment.bytes=1073741824
    11.log.segment.ms(没明白)
        #另一种控制segments关闭的参数设置
        log.segment.ms
    12.message.max.bytes
        #发送信息的最大单位值,如果超过了,会造成数据丢失
        #如果要发送的数据量较大,可以调整这个参数和检查发送数据量的
        message.max.bytes=1024

 

以上是关于kafka server.properties 配置文件详解的主要内容,如果未能解决你的问题,请参考以下文章

kafka~~linux下的操作

kafka的server.properties配置文件详细说明

kafka server.properties 配置文件详解

Kafka server.properties配置说明(转)

kafka之config/server.properties配置参数说明

kafka2.5.0详解核心配置文件server.properties