计数器下降时 Prometheus 发出警报

Posted 2023-02-15

【中文标题】计数器下降时 Prometheus 发出警报

【英文标题】：Prometheus alert when counter has drop

【发布时间】：2021-05-27 14:34:51

【问题描述】：

当counter 的百分比值下降时，我需要提醒。

我正在使用来自 windows_exporter 的 windows_iis_requests_total 指标。目标是发现对网站的请求何时下降。目前我正在使用

round(
    100 - (
      increase(windows_iis_requests_total[10m]) 
       / 
      increase(windows_iis_requests_total[10m] offset 1h)
    ) * 100
) > 50

因为它是一个计数器而不是一个量规，所以我必须这样使用它。但是这种表达方式会产生很多“噪音”。当请求数很少时，它通常会下降 100%。如果一个小时内没有任何请求，警报将自行解决。

有没有更好更正确的方式在网站请求下降时发出警报？

【参考方案1】：

您可能需要检查标准差等函数，以便更好地检测异常。

关于这个主题的好书：https://about.gitlab.com/blog/2019/07/23/anomaly-detection-using-prometheus/