Kibana+Logstash+Elasticsearch 日志查询系统

Posted 2021-04-21 全栈笔记

Kibana一个开源的免费的web壳；

Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（eg 搜索) , Logstash集成各种收集日志插件，还是一个比较优秀的正则切割日志工具；

Elasticsearch一个开源的搜索引擎框架（支持集群）。

搭建该平台的目的就是为了运维、研发很方便的进行日志的查询。

流程图如下:

具体的工作流程

1.logstash agent 监控并过滤需要收集的目录的日志。

2.将过滤后的日志内容发给redis(这里的redis只处理队列不做存储)。

3.logstash index将日志收集在一起交给全文搜索服务ElasticSearch 

4.用ElasticSearch进行自定义搜索 

5.通过Kibana 来结合 自定义搜索进行页面展示