Kafka限流

Posted 2021-03-23 lenmom

1. 客户端认证

如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘producer_byte_rate=1048576,consumer_byte_rate=1024‘  --entity-type   clients    --entity-name clientA

对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量，单位为byte/sec。consumer_byte_rate表示每秒最多能消费的消息了，单位也为byte/sec。设置后立即生效。

 

2. Producer & Consumer设置

在producer和consumer的配置中需要加入client.id配置：

Producer：

props.put(ProducerConfig.CLIENT_ID_CONFIG, "clientA");

Consumer：

props.put(ConsumerConfig.CLIENT_ID_CONFIG, "clientA");

限流效果：

 

 

3. 查看限流信息

zookeeper:

[zk: localhost:2181(CONNECTED) 5] get /config/clients/clientA
{"version":1,"config":{"producer_byte_rate":"1048576"，"consumer_byte_rate":"1024"}}