Logstash整合zabbix 过滤Nginx 错误日志并进行报警

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Logstash整合zabbix 过滤Nginx 错误日志并进行报警相关的知识,希望对你有一定的参考价值。



通过logstash过滤nginx-error日志,筛选日志中比较严重报错,并进行报警。

由于网络上很多帖子都是要么写了怎么筛选报错,要么就只翻译了logstash-zabbix-output插件的使用说明,并没有一个完整的配置,整个项目做完,整理出来供大家阅读。 


【软件版本】

zabbix 版本:2.4.8 
logstash 版本:2.4.0 
JDK 版本: 1.8.0_101 


【zabbix配置】 
首先配置zabbix的item,使其能够成功接收logstash发送过来的信息. 
创建Template:“Configuration” -> “Templates” -> “Create template”

技术分享


这里我对Template的名字叫“Log file check” 
然后创建Application:“Create applicaton”


技术分享



Application名字还叫“Log file check” 
最后创建item:“Create item”: 
注意四个地方:
Type 一定要选择“Zabbix trapper”,否则无法接收logstash发送的信息; 
Key 一定要写正确,最好不要有空格,需要在logstash中配置; 
Type of information 选择 “Text”,因为我传过来的值是一段报错日志,所以选择文本; 
Allowed hosts:允许传送的主机,一定要设定为logstash所在的主机。


技术分享


【Logstash配置】


注:logstash的下载及安装不介绍。 


安装目录:/opt/logstash/ 


由于日志量并没有达到上W级,因此针对logstash进行了一些优化,降低了部分性能: 

# vim /opt/logstash/bin/logstash 

LS_HEAP_SIZE=500m 
LS_JAVA_OPTS="-server -Xmx200m"

【安装logstash-output-zabbix插件】


/opt/logstash/bin/logstash-plugin install logstash-output-zabbix


logstash 配置文件: 


input { 
    file { 
        type => "error-log" # 指定类型,用于以后判断操作 
        path => "/tmp/test.log" # 文件路径 
        start_position => "beginning" # 文件开始位置 
        codec => multiline { # 使用多行匹配方式进行过滤 
            pattern => "^\d{4}" # 以4个数字开头的为第一行, 
            negate => true # 所有不以4个数字开头的,均归于上一行(下面what配置) 
            what => "previous" 
        }
    } 
}

filter {
    grok {    
        match => {         
            message:\s+\n.*Code:(?<Code>\d+).*Message:(?<Message>.+)\n.*File:(?<File>.+)\n.*Line:(?<Line>\s+\d+).*"     # 对于匹配规则,还是要针对自己场景自己写    }       add_tag => [ "zabbix-sender" ]  # 添加一个标签    add_field => [                  # 设定agent主机的主机名和key的映射        "zabbix_host", "web01",     # 主机名        "zabbix_key", "logstash"    # 添加item时,设定的key名称    ]}    if "_grokparsefailure" in [tags] {          # 如果过滤报错,那么移除报错标签,不进行其他处理        mutate {            remove_tag => "_grokparsefailure"        }    }
}
output { # 输出配置 
    stdout { # 测试时可以开启终端输出 
        codec => rubydebug 
        #codec => json # 可以选择json格式的输出还是rubydebug格式的输出 
    } 
    zabbix { # 发送给zabbix的配置 
        zabbix_host => "zabbix_host" # zabbix_host指上面映射的主机,不能用ip 
        zabbix_key => "zabbix_key" # zabbix_key指上面映射的key,意思就
                                     是发送给某主机的某key,值为zabbix_value 
        zabbix_server_host => "192.168.1.229" # zabbix server 
        zabbix_server_port => "10051" # zabbix server port 默认为10051 
        zabbix_value => "Message" # 要发送的key值 
    } 
}

如果需要进行测试,可以在zabbix agent使用zabbix_sender进行测试:


/opt/zabbix/sender -z zabbix-server -p port -s agentservername -k keyname -o keyvalue

所有配置完成后,可以在监测日志文件中输入一些测试数据,并在zabbix web上查看是否正常出现数据:



技术分享



【配置报警】 
“configuration” -> “Templates” -> “Triggers” -> “Create Trigger”: 
Name:log error check 
Expression:判断获取值的长度是否为0,如果不为0,trigger为problem状态,发送报警 


技术分享


其他关于报警相关配置请自行某度······


参考资料:

http://blog.sina.com.cn/s/blog_7ba28b620102xw2w.html

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-zabbix.html

https://www.zabbix.org/wiki/Docs/protocols/zabbix_sender/2.0

本文出自 “千面” 博客,请务必保留此出处http://oslibo.blog.51cto.com/10854638/1926626

以上是关于Logstash整合zabbix 过滤Nginx 错误日志并进行报警的主要内容,如果未能解决你的问题,请参考以下文章

Logstash收集nginx日志之使用grok过滤插件解析日志

Logstash收集nginx日志之使用grok过滤插件解析日志

Zabbix与ELK整合实现对日志数据的实时监控

71-日志分析系统ELK-Logstash过滤Filesbeat数据及ELK日志采集生产案例

logstash对nginx日志进行解析

elk系统搭建并收集nginx日志-主要步骤