Logstash 应该只记录 grok 解析的消息

Posted

技术标签:

【中文标题】Logstash 应该只记录 grok 解析的消息【英文标题】:Logstash should log only grok parsed messages 【发布时间】:2017-01-16 09:54:07 【问题描述】:

目前我有一个 ELK 堆栈,其中的日志由 filebeat 传送,在 logstash 中的一些过滤器之后,它被转发到 ES。由于有很多服务器和日志,大量日志正在进入 logstash,但我已将过滤器配置为仅处理非常特定类型的日志消息。它做得很好,但是甚至不匹配的日志都记录在 logstash.log 文件中。正如我之前提到的,巨大的日志即将到来,logstash.log 文件的大小很快就会达到一个很高的值,并且会出现空间问题。如何配置logstash,以便我只记录处理后的日志,而不是全部。

【问题讨论】:

【参考方案1】:

您可以使用 logrotate 每天或在达到某个阈值时自动轮换。然后,您可以将旋转次数设置为 1 或 2。这将使您有时间查看文件中的内容,以防您需要进行故障排除,但在造成空间争用之前进行清除。

【讨论】:

以上是关于Logstash 应该只记录 grok 解析的消息的主要内容,如果未能解决你的问题,请参考以下文章

Logstash:日志解析的 Grok 模式示例

Logstash:日志解析的 Grok 模式示例

Logstash使用grok解析IIS日志

Logstash使用grok解析IIS日志

Logstash - grok 使用消息以外的字段

logstash grok解析