LogstashLogstash快速入门（二十五）

Posted 2020-12-13 h--d

Logstash简介

　　Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。

　　虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过各种各样的输入，过滤器和输出插件来丰富和转换，许多本机编解码器进一步简化了提取过程。Logstash通过利用大量数据和各种数据来加快的见解。

　　官网：https://www.elastic.co/cn/logstash

　　文档地址：https://www.elastic.co/guide/en/logstash/7.x/index.html

　　用途：

　　

　　基本运行流程：

　　

　　Logstash管道具有两个必需元素input和output，以及一个可选元素filter。

　　输入插件使用来自源的数据，过滤器插件根据您的指定修改数据，输出插件将数据写入目标。

Logstash入门使用

　　1、下载logstash，本例使用（filebeat-7.6.1-linux-x86_64.tar.gz）7.6.1版本

　　2、解压下载的压缩包

　　　　命令：tar -zxvf filebeat-7.6.1-linux-x86_64.tar.gz

　　3、进入解压目录

　　　　命令：cd logstash-7.6.1

　　　　

　　4、运行logstash，采用最基本运行命令

　　　　启动命令：./bin/logstash -e

　　　　后台运行命令：nohup ./bin/logstash -e &

　　　　最基本运行命令：./bin/logstash -e ‘input { stdin { } } output { stdout {} }‘

 　　　 关闭命令：

　　　　　　找pid命令：ps -ef|grep logstash

　　　　　　kill命令：kill pid

　　　　启动之后，logstash会监听端口（默认） 9600

　　5、采用最基本运行命令，意思是在控制台进行输入输出，

　　　　在控制台继续输入 hello，效果如下，可以看到输出内容

　　　　

　　　　如上显示，Logstash 会额外增加一些信息，比如 @timestamp 时间， host 主机名等。　　　　

 

Logstash命令行参数

　　1、-e，--config.string

　　　　使用给定的字符串作为配置数据。

　　2、-f，--path.config

　　　　从特定文件或目录加载Logstash配置。如果给出了目录，则该目录中的所有文件将按字典顺序连接，然后解析为单个配置文件。

　　3、-t，--config.test_and_exit

　　　　检查配置以获取有效的语法，然后退出。请注意，不会使用此标志检查grok模式的正确性。Logstash可以从目录中读取多个配置文件。

　　4、-h，--help

　　　　打印帮助

　　5、-l，--path.logs

　　　　PATH要写入Logstash内部日志的目录。

　　6、--log.level

　　　　设置Logstash的日志级别。可能的值为：

• • fatal：记录非常严重的错误消息，这些错误消息通常在应用程序中止之后
  • error：记录错误
  • warn：记录警告
  • info：记录详细信息（这是默认设置）
  • debug：记录调试信息（适用于开发人员）
  • trace：记录除调试信息以外的更细粒度的消息

　　7、--config.debug

　　　　将完整编译的配置显示为调试日志消息（还必须--log.level=debug启用）。警告：日志消息将包含以明文形式传递给插件配置的所有密码选项，并可能导致明文密码出现在日志中！

　　8、-w，--pipeline.workers

　　　　设置要运行的管道工人数。此选项设置将并行执行管道的筛选和输出阶段的工作程序数。

　　9、-p, --path.plugins

　　　　查找自定义插件的路径。可以多次赋予此标志以包括多个路径。