Logstash+Kibana部署配置

Posted 2020-10-20 View

　　Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。

典型的使用场景下(ELK)：

　　用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件，让使用者轻松实现强大的功能。

　　学习Logstash最好的资料就是官网，介绍三个学习地址：

1、ELK官网帮助文档

https://www.elastic.co/guide/en/logstash/5.1/plugins-outputs-stdout.html

2、Logstash匹配帮助文档

http://grokdebug.herokuapp.com/patterns#

3、Grok在线正则匹配

http://grokdebug.herokuapp.com/

4、国内grok在线正则匹配

http://grok.qiexun.net/

下面就正式开始主题~~

logstash部署配置

1、基础环境支持（JAVA）

yum -y install java-1.8*
java --version

2、下载解压logstash

logstash-5.0.1.tar.gz
tar -zxvf logstash-5.0.1.tar.gz
cd logstash-5.0.1
mkdir conf    #创建conf文件夹存放配置文件
cd conf

3、配置文件

配置test文件（结合前面搭建好的ES集群测试）

[root@logstash1 conf]# cat test.conf 
    input {
        stdin {
        }
    }
    output {
            elasticsearch {
                hosts =>["172.16.81.133:9200","172.16.81.134:9200"]
                index => "test-%{+YYYY.MM.dd}"
            }
            stdout {
                codec => rubydebug
            }
    }

#检查配置文件语法
[root@logstash1 conf]# /opt/logstash-5.0.1/bin/logstash -f /opt/logstash-5.0.1/conf/test.conf --config.test_and_exit
　　Sending Logstash\'s logs to /opt/logstash-5.0.1/logs which is now configured via log4j2.properties
　　Configuration OK
　　[2017-12-26T11:42:12,816][INFO ][logstash.runner ] Using config.test_and_exit mode. Config Validati　　on Result: OK. Exiting Logstash
#执行命令
　　/opt/logstash-5.0.1/bin/logstash -f /opt/logstash-5.0.1/conf/test.conf
手动输入信息
　　2017.12.26 admin 172.16.81.82 200
结果：
　{
　　"@timestamp" => 2017-12-26T03:45:48.926Z,
　　"@version" => "1",
　　"host" => "0.0.0.0",
　　"message" => "2017.12.26 admin 172.16.81.82 200",
　　"tags" => []
　}

配置kafka集群的logstash配置文件

客户端logstash推送日志

#配置客户端logstash配置文件
    [root@www conf]# cat nginx_kafka.conf 
        input {
                file {
                    type => "access.log"
                    path => "/var/log/nginx/imlogin.log"
                    start_position => "beginning"
                }
        }

        output {
            kafka {
                bootstrap_servers => "172.16.81.131:9092,172.16.81.132:9092"
                topic_id => \'summer\'
            }
        }

配置服务端logstash过滤分割日志

[root@logstash1 conf]# cat kafka.conf 
    input {
        kafka {
            bootstrap_servers => "172.16.81.131:9092,172.16.81.132:9092"
            group_id => "logstash"
            topics => ["summer"]
            consumer_threads => 50
            decorate_events => true
        }
    }

    filter {
        grok {
            match => {
                "message" => "%{NOTSPACE:accessip} \\- \\- \\[%{HTTPDATE:time}\\] %{NOTSPACE:auth} %{NOTSPACE:uri_stem} %{NOTSPACE:agent} %{WORD:status} %{NUMBER:bytes} %{NOTSPACE:request_url} %{NOTSPACE:browser} %{NOTSPACE:system} %{NOTSPACE:system_type} %{NOTSPACE:tag} %{NOTSPACE:system}"
            }
        }
        date {
            match => [ "accessip", "MMM dd YYYY HH:mm:ss" ]
            }
    }

    output {
        elasticsearch {
            hosts => ["172.16.81.133:9200","172.16.81.134:9200"]
            index => "logstash-%{+YYYY.MM.dd}"
        }
    }

然后再es集群上观察消费情况

[root@es1 ~]# curl -XGET \'172.16.81.134:9200/_cat/indices?v&pretty\'
    health status index                  uuid                   pri rep docs.count docs.deleted store.size pri.store.size
    green  open   logstash-2017.12.29.03 waZfJChvSY2vcREQgyW7zA   5   1    1080175            0    622.2mb        311.1mb
    green  open   logstash-2017.12.29.06 Zm5Jcb3DSK2Ws3D2rYdp2g   5   1        183            0    744.2kb        372.1kb
    green  open   logstash-2017.12.29.04 NFimjo_sSnekHVoISp2DQg   5   1       1530            0      2.7mb          1.3mb
    green  open   .kibana                YN93vVWQTESA-cZycYHI6g   1   1          2            0     22.9kb         11.4kb
    green  open   logstash-2017.12.29.05 kPQAlVkGQL-izw8tt2FRaQ   5   1       1289            0        2mb            1mb

配合ES集群的head插件使用！！观察日志生成情况！！

 

 4、kibana安装部署

下载rpm包

kibana-5.0.1-x86_64.rpm

安装kibana软件

rpm -ivh kibana-5.0.1-x86_64.rpm

配置文件

[root@es1 opt]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
    server.port: 5601
    server.host: "172.16.81.133"
    elasticsearch.url: "http://172.16.81.133:9200"

启动kibana

systemctl start kibana
systemctl enable kibana

浏览器浏览

http://172.16.81.133:5601/

 

 正常显示数据！！

有问题请指出！出现了很多IP地址不知道可以查看前面几篇！