Prometheus监控之报错Error on ingesting out-of-order samples
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Prometheus监控之报错Error on ingesting out-of-order samples相关的知识，希望对你有一定的参考价值。
一、问题描述
配置好Prometheus，grafana页面不展示，打开Prometheus日志，发现大量报错
"Error on ingesting out-of-order samples"
二、解决办法
1、时间检查
网上部分此问题解决办法就是查看prometheus和grafana机器的时间是否一致
俩服务部署在一台机器上，不存在时间差
2、数据抓取间隔检查
https://access.redhat.com/documentation/zh-cn/red_hat_advanced_cluster_management_for_kubernetes/2.4/html/release_notes/error-ingesting-out-of-order-samples
在红帽官网的Thanos中有一条记录
1.3.4.9. 消耗不按顺序示例时出错
Error on ingesting out-of-order samples
错误消息表示，在指标收集间隔期间，由受管集群发送的时间序列数据比在之前的集合间隔发送的时间序列数据旧。当出现问题时，Thanos 接收器丢
弃数据，这可能会在 Grafana 仪表板中显示的数据中造成差距。如果经常看到错误，建议将指标收集间隔增加到一个更高的值。例如，您可以将间隔
增加到 60 秒。
只有在时间序列间隔被设置为较低值（如 30 秒）时，才会注意到这个问题。请注意，当指标收集间隔被设置为默认值 300 秒时，不会看到这个问题。
查看prometheus.yml配置的抓取时间间隔
scrape_interval代表抓取间隔，scrape_timeout代替抓取的超时时间
scrape_interval: 5s
scrape_timeout: 5s
将其改为30s，继续观察
如果job_name中没有配置这个，则默认使用global中的配置
以上是关于Prometheus监控之报错Error on ingesting out-of-order samples的主要内容，如果未能解决你的问题，请参考以下文章