Elasticsearch-Logstash-Kibana(三)配置优化
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Elasticsearch-Logstash-Kibana(三)配置优化相关的知识,希望对你有一定的参考价值。
参考技术A 下面是一段nginx日志,里面有一个字段,bytes 传输的字节编辑该字段
选择 Bytes,然后 Update Field
验证
在生产环境中,nginx日志格式往往使用的是自定义的格式,我们需要把logstash中的message结构化后再存储,方便kibana的搜索和统计,因此需要对message进行解析。
本文采用grok过滤器,使用match正则表达式解析,根据自己的log_format定制。
nginx 日志格式如下:
对应日志如下:
logstash中默认存在一部分正则让我们来使用,可以访问 Grok Debugger 来查看。
基本定义在grok-patterns中,我们可以使用其中的正则,当然并不是所有的都适合nginx字段,这时就需要我们自定义正则,然后通过指定patterns_dir来调用。
同时在写正则的时候可以使用Grok Debugger或者Grok Comstructor工具来帮助我们更快的调试。在不知道如何使用logstash中的正则的时候也可使用Grok Debugger的Descover来自动匹配。
logstash自带的grok正则中有nginx的标准日志格式:
我们可以参考这个正则来自定义自己的日志
其中 UPSTREAM_ADDR 是自定义的正则。
启动logstash,然后就可以查看日志是否写入elasticsearch中。
以上是关于Elasticsearch-Logstash-Kibana(三)配置优化的主要内容,如果未能解决你的问题,请参考以下文章