2.kafka运维ConfigCommand运维脚本

Posted 2021-08-29 石臻臻的杂货铺

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2.kafka运维ConfigCommand运维脚本相关的知识，希望对你有一定的参考价值。

文章目录

日常运维 、问题排查 怎么能够少了滴滴开源的
滴滴开源LogiKM一站式Kafka监控与管控平台

ConfigCommand

Config相关操作; 动态配置可以覆盖默认的静态配置;

1 查询配置

Topic配置查询

展示关于Topic的动静态配置

1.1.查询单个Topic配置(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic
或者
sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic

1.2.查询所有Topic配置(包括内部Topic)(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics

1.3.查询Topic的详细配置(动态+静态)

只需要加上一个参数--all

其他配置/clients/users/brokers/broker-loggers 的查询

同理；只需要将--entity-type 改成对应的类型就行了 (topics/clients/users/brokers/broker-loggers)

查询kafka版本信息

sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version

所有可配置的动态配置请看最后面的附件部分

2 增删改配置 `--alter`

–alter

删除配置: --delete-config k1=v1,k2=v2
添加/修改配置: --add-config k1,k2
选择类型: --entity-type (topics/clients/users/brokers/broker-
loggers)
类型名称: --entity-name

Topic添加/修改动态配置

--add-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999

Topic删除动态配置

--delete-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms

其他配置同理,只需要类型改下`--entity-type`

类型有: (topics/clients/users/brokers/broker- loggers)

哪些配置可以修改请看最后面的附件：ConfigCommand 的一些可选配置

3. 默认配置

动态配置的默认配置可以使用节点 <defalut>;

该图转自https://www.cnblogs.com/lizherui/p/12271285.html

优先级 指定动态配置>默认动态配置>静态配置

附件

ConfigCommand 的一些可选配置

Topic相关可选配置

key	value	示例
cleanup.policy	清理策略
compression.type	压缩类型(通常建议在produce端控制)
delete.retention.ms	压缩日志的保留时间
file.delete.delay.ms
flush.messages	持久化message限制
flush.ms	持久化频率
follower.replication.throttled.replicas	flowwer副本限流格式：分区号:副本follower号,分区号:副本follower号	0:1,1:1
index.interval.bytes
leader.replication.throttled.replicas	leader副本限流格式：分区号:副本Leader号	0:0
max.compaction.lag.ms
max.message.bytes	最大的batch的message大小
message.downconversion.enable	message是否向下兼容
message.format.version	message格式版本
message.timestamp.difference.max.ms
message.timestamp.type
min.cleanable.dirty.ratio
min.compaction.lag.ms
min.insync.replicas	最小的ISR
preallocate
retention.bytes	日志保留大小(通常按照时间限制)
retention.ms	日志保留时间
segment.bytes	segment的大小限制
segment.index.bytes
segment.jitter.ms
segment.ms	segment的切割时间
unclean.leader.election.enable	是否允许非同步副本选主

Broker相关可选配置

key	value	示例
advertised.listeners
background.threads
compression.type
follower.replication.throttled.rate
leader.replication.throttled.rate
listener.security.protocol.map
listeners
log.cleaner.backoff.ms
log.cleaner.dedupe.buffer.size
log.cleaner.delete.retention.ms
log.cleaner.io.buffer.load.factor
log.cleaner.io.buffer.size
log.cleaner.io.max.bytes.per.second
log.cleaner.max.compaction.lag.ms
log.cleaner.min.cleanable.ratio
log.cleaner.min.compaction.lag.ms
log.cleaner.threads
log.cleanup.policy
log.flush.interval.messages
log.flush.interval.ms
log.index.interval.bytes
log.index.size.max.bytes
log.message.downconversion.enable
log.message.timestamp.difference.max.ms
log.message.timestamp.type
log.preallocate
log.retention.bytes
log.retention.ms
log.roll.jitter.ms
log.roll.ms
log.segment.bytes
log.segment.delete.delay.ms
max.connections
max.connections.per.ip
max.connections.per.ip.overrides
message.max.bytes
metric.reporters
min.insync.replicas
num.io.threads
num.network.threads
num.recovery.threads.per.data.dir
num.replica.fetchers
principal.builder.class
replica.alter.log.dirs.io.max.bytes.per.second
sasl.enabled.mechanisms
sasl.jaas.config
sasl.kerberos.kinit.cmd
sasl.kerberos.min.time.before.relogin
sasl.kerberos.principal.to.local.rules
sasl.kerberos.service.name
sasl.kerberos.ticket.renew.jitter
sasl.kerberos.ticket.renew.window.factor
sasl.login.refresh.buffer.seconds
sasl.login.refresh.min.period.seconds
sasl.login.refresh.window.factor
sasl.login.refresh.window.jitter
sasl.mechanism.inter.broker.protocol
ssl.cipher.suites
ssl.client.auth
ssl.enabled.protocols
ssl.endpoint.identification.algorithm
ssl.key.password
ssl.keymanager.algorithm
ssl.keystore.location
ssl.keystore.password
ssl.keystore.type
ssl.protocol
ssl.provider
ssl.secure.random.implementation
ssl.trustmanager.algorithm
ssl.truststore.location
ssl.truststore.password
ssl.truststore.type
unclean.leader.election.enable

Users相关可选配置

key	value	示例
SCRAM-SHA-256
SCRAM-SHA-512
consumer_byte_rate	针对消费者user进行限流
producer_byte_rate	针对生产者进行限流
request_percentage	请求百分比