石墨在数据中显示滚动间隙

Posted 2023-02-16

【中文标题】石墨在数据中显示滚动间隙

【英文标题】：Graphite showing rolling gap in data

【发布时间】：2018-07-05 05:25:33

【问题描述】：

我最近将我们的一个 Graphite 实例从 0.9.2 升级到 1.1.1，此后遇到了一个问题，即由于缺乏更好的词，数据存在滚动差距。

它正确显示了最后几分钟（我猜是碳缓存中的内容），大约 10-15 分钟后，它也正确显示了所有数据。

但是，在这 10 到 15 分钟的间隔内，它完全是空白的。我可以在 Graphite 和 Grafana 中看到差距。重启碳缓存后它消失了，然后大约一天后又回来了。

示例截图：

我拥有的大多数图表/仪表板都会发生这种情况。

我花了很多精力优化磁盘 IO，所以我怀疑是不是这种情况 -> Cloudwatch 显示磁盘 100% 突发信用。这是一个具有 4 个内核和 16 GB RAM 的 m3.xlarge 实例。交换文件位于临时存储上，看起来几乎没有使用。

使用 1 个带有 Whisper 后端的 Carbon Cache 实例。

storage_schemas.conf:

[carbon]
pattern = ^carbon\.
retentions = 60:90d
[dumbo]
pattern = ^collectd\.dumbo   # load test containers, we don't care about their data
retentions = 300:1
[collectd]
pattern = ^collectd
retentions = 10s:8h,30s:1d,1m:3d,5m:30d,15m:90d
[statsite]
pattern = ^statsite
retentions = 10s:8h,30s:1d,1m:3d,5m:30d,15m:90d
[default_1min_for_1day]
pattern = .*
retentions = 60s:1d

非默认（或可能相关）carbon.conf 设置：

[cache]
MAX_CACHE_SIZE = inf
MAX_UPDATES_PER_SECOND = 100   # was slagging disk write IO until I dropped it down from 500
MAX_CREATES_PER_MINUTE = 50
CACHE_WRITE_STRATEGY = sorted
RELAY_METHOD = rules
DESTINATIONS = 127.0.0.1:2004
MAX_DATAPOINTS_PER_MESSAGE = 500
MAX_QUEUE_SIZE = 10000

石墨local_settings.py

CARBONLINK_TIMEOUT = 10.0
CARBONLINK_QUERY_BULK = True
USE_WORKER_POOL = False

【参考方案1】：

我们已经在 1.1.1 的一些工作负载中看到了这种情况，您可以尝试将 carbon 更新到当前的 master 吗？如果不是 1.1.2 将很快发布，这应该可以解决问题。

【讨论】：

感谢您的想法。升级到master（1.2.0），让我们拭目以待明天它的效果如何。

看起来自从我升级后的星期四以来它一直没有问题，所以这很可能是罪魁祸首。