日志收集工具logstash简介

Posted 2021-04-21 PHP编程

Logstash是一款基于JRuby语言的轻量级的日志搜集、分析、转发处理框架，工作在JVM中。

Logstash可以方便的把分散的、多样化的日志搜集起来，并进行内容、格式处理，然后传输到指定的存储介质。

Logstash使用管道方式进行日志的搜集处理和输出。在logstash中，包括了三个阶段:输入input –> 处理filter（不是必须的） –> 输出output，其中每个阶段都提供了丰富的插件供使用，非常方便。

1、输入阶段支持多种数据获取机制，通过TCP、UDP、http协议、文件、syslog、UNIX socket、rabbitmq、kafka、redis、github、STDIN等。

2、处理阶段可对数据进行聚合、统计、复制、排序、修改、删除等操作，提供特征数据处理插件（日期格式化、dns反向查找、根据ip获取详细信息、urldecode等）,以及对csv、xml、kv、json等数据格式解析处理插件。

3、输出阶段能对接多种存储介质，如mysql、mongodb、redis、kakfa、rabbitmq、HDFS、s3、lucene、solr、ElasticSearch、csv、email、file、http、tcp、udp、websocket、syslog、stdout等。