EFLK-Logstash安装配置

Posted 2023-03-12

参考技术A Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

作为ELK中的L，之前采用的是EFK，其中F是Filebeat，比Logstash更加轻量，但是Logstash也有丰富的过滤功能，为此变成Filebeat->Logstash->Elasticsearch->kibana

服务器安装的版本

如果正常启动，日志不会报错，同时可以查看进程是否存活。

在logstash中，包括了三个阶段:

输入input --> 处理filter（不是必须的） --> 输出output

配置启动端口为9600

如下例子为过滤删除指定字段RetryJob

Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。

grok表达式的打印复制格式的完整语法是下面这样的：

grok-patterns内置的正则表达式

那问题来了，写了正则表达式，如何调试呢？

可以在kibana网页中的 dev tools 里 grok Debugger 进行调试

如下例子，在页面中需填写内容：

注意：可以这两种格式， 和 => 搭配， [] 和 , 搭配