Kafka配额违规日志

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka配额违规日志相关的知识,希望对你有一定的参考价值。

我使用Kafka配额限制生产者(0.10.2.1)。但现在我想知道何时以及哪个用户达到了限制。

是否有JMX度量标准或日志条目告诉我有关违规的信息?

答案

从Apache Kafka官方文档中,在monitoring section中,Kafka 0.10.2公开了一个关于代理的指标,用于跟踪违反配额和被限制的用户:

kafka.server:type={Produce|Fetch},user=([-.w]+),client-id=([-.w]+)

每个(用户,客户端ID),用户或客户端ID的配额指标

两个属性:

  • throttle-time表示客户端被限制的时间量(ms)。理想情况下= 0
  • byte-rate表示客户端的数据产生/消耗速率,以字节/秒为单位。对于(user,client-id)配额,指定了user和client-id。如果将per-client-id配额应用于客户端,则不指定用户。如果应用了每用户配额,则不指定client-id。
另一答案

在页面上,Monitoring Kafka对配额JMX指标一无所知。只有一个小指标可能表示已达到配额。

取油门时,平均

平均节流时间,以毫秒为单位。启用配额时,代理可能会延迟提取请求,以限制超出其限制的使用者。此度量标准指示如何平均添加限制时间以获取请求。

以上是关于Kafka配额违规日志的主要内容,如果未能解决你的问题,请参考以下文章

关于Kafka配额的讨论

2021年大数据Kafka:❤️Kafka配额限速机制❤️

2021年大数据Kafka:❤️Kafka配额限速机制❤️

kafka配额控制

kafka的客户端限流(资源配额)

kafka的客户端限流(资源配额)