轻量级流式日志计算分析plog+（zabbix+grafana)

Posted 2020-09-18

      plog是一个用python写的流式计算分析框架，适用于轻量级流式数据的分析场景，大数据场景下大家自然想到使用spark等方案。

      拿当前的业务场景看，需要对机器上nginx的流日志进行状态码、响应时间、QPS的实时分析，通过zabbix展现在grafana里，QPS在1000以内。传统方法是用shell脚本来计算各种数据，然后通过主动或被动模式传到zabbix里，此种方法有很大局限性，一是grep或awk过滤日志时，很难控制好过滤的数量，过滤的多了严重影响性能，可能上一个数据都没计算出来，这一次的计算又得开始了，二是过滤的少了可能丢日志，三是不好控制计算推送周期，总结一句话就是不科学。对于这种数据量不大的流式数据，plog恰巧能解决所有问题，采用流式分析，对数据进行实时计算，通过编写zabbix的sink插件，将计算结果用zabbix_sender推到zabbix。

      默认的channel模块支持正则和grok正则的方式匹配，由于日志的复杂性，重新编写了用split分割符的插件进行处理，目前对2xx、3xx、4xx、5xx、qps、request_time、404、499、500、502、504进行了流式监控，详细介绍一下配置部署二开过程。

传统shell处理方式详见之前博客：zabbix_sender主动上传k/v监控nginx日志状态码 

浏览全部请点击运维网咖社地址：轻量级流式日志计算分析plog+（zabbix+grafana)

本文出自 “奔跑的linux” 博客，请务必保留此出处http://benpaozhe.blog.51cto.com/10239098/1926943