Elasticsearch-Logstash-Kibana（三）配置优化

Posted 2023-03-16

参考技术A 下面是一段nginx日志,里面有一个字段，bytes 传输的字节

编辑该字段

选择 Bytes，然后 Update Field

验证

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。

本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。

nginx 日志格式如下：

对应日志如下：

logstash中默认存在一部分正则让我们来使用，可以访问 Grok Debugger 来查看。

基本定义在grok-patterns中，我们可以使用其中的正则，当然并不是所有的都适合nginx字段，这时就需要我们自定义正则，然后通过指定patterns_dir来调用。

同时在写正则的时候可以使用Grok Debugger或者Grok Comstructor工具来帮助我们更快的调试。在不知道如何使用logstash中的正则的时候也可使用Grok Debugger的Descover来自动匹配。

logstash自带的grok正则中有nginx的标准日志格式：

我们可以参考这个正则来自定义自己的日志

其中 UPSTREAM_ADDR 是自定义的正则。

启动logstash，然后就可以查看日志是否写入elasticsearch中。