ELK+syslog+nginx访问日志收集+分词处理

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ELK+syslog+nginx访问日志收集+分词处理相关的知识,希望对你有一定的参考价值。

一、nginx访问日志配置:

1、日志格式配置:

log_format json ‘{"@timestamp":"$time_iso8601",‘

                    ‘"host":"$server_addr",‘

                    ‘"clientip":"$remote_addr",‘

                    ‘"size":$body_bytes_sent,‘

                    ‘"xff":"$http_x_forwarded_for",‘

                    ‘"upstreamhost":"$upstream_addr",‘

                    ‘"status":"$status",‘

                    ‘"responsetime":$request_time,‘

                    ‘"upstreamtime":"$upstream_response_time",‘

                    ‘"http_host":"$host",‘

                    ‘"url":"$uri"}‘;

2、访问日志配置:

access_log   syslog:server=xx.xx.xx.xx:5140 json;


二、logstash配置


input {

     syslog{

           port => "5140"

          }

}

filter {

     json {

          source =>"message"

          remove_field => ["message"]

          }

}

output {

          elasticsearch { hosts => [‘xx.xx.xx.xx:9200‘,‘xx.xx.xx.xx:9200‘]

                          index => ‘nginx_rfd-%{+YYYY.MM.dd.HH}‘

                          template => "/usr/local/logstash/nginx.json"

                          template_name => "nginx_*"

                          template_overwrite => true

                        }

}


注意index名称要包含到template_name里


三、自定义mappings

cat /usr/local/logstash/nginx.json

{

    "template": "nginx_*",

    "order":1,

    "settings": { "index.refresh_interval" : "60s" },

    "mappings": {

        "_default_": {

            "_all" : { "enabled" : false },

            "properties": {

                "@timestamp" : { "type" : "date" },

                "@version" : { "type" : "integer", "index" : "not_analyzed" },

                "url": {

                    "type": "string",

                    "index": "not_analyzed"

                },

                "host": {

                    "type": "ip",

                    "index": "not_analyzed"

                },

                "clientip": {

                    "type": "ip",

                    "index": "not_analyzed"

                },

                "size": {

                    "type": "integer"

                },

                "xff": {

                    "type": "string",

                    "index": "not_analyzed"

                },

                "upstreamhost": {

                    "type": "string",

                    "index": "not_analyzed"

                },

                "http_host": {

                    "type": "string",

                    "index": "not_analyzed"

                },

                "status": {

                    "type": "integer"

                },

                "responseTime": {

                    "type": "string",

                    "index": "not_analyzed"

                },

                "upstreamtime": {

                    "type": "string",

                    "index": "not_analyzed"

                }

            }

        }

    }

}


四、生成统计图形

技术分享


五、参考文档

https://elasticsearch.cn/article/154

http://blog.csdn.net/choelea/article/details/53320140

http://www.cnblogs.com/hanyifeng/p/5860731.html


本文出自 “IT修理工” 博客,请务必保留此出处http://lrtao2010.blog.51cto.com/10425744/1949334

以上是关于ELK+syslog+nginx访问日志收集+分词处理的主要内容,如果未能解决你的问题,请参考以下文章

ELK之六-----logstash结合redis收集系统日志和nginx访问日志

ELK+kafka收集 Nginx与tomcat日志

ELK之收集haproxy日志

使用logstash收集javanginx系统等常见日志

ELK之filebeat收集多日志并自定义索引

ELK部署