logstash好用不

Posted 2023-05-04

Logstash 是 Elastic Stack 中功能最强大的 ETL 工具，相较于 beats 家族，虽然它略显臃肿，但是强在功能丰富、处理能力强大。
但是在好用的东西也得看个人掌握的技能程度，你如果都不能深入的理解，那就根本谈不上好不好用了。萝卜青菜各有所爱，最终还得看个人。 参考技术A Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。Logstash建议在修改配置项以提高性能的时候，每次只修改一个配置项并观察其性能和资源消耗（cpu、io、内存）。性能检查项包括：
1、检查input和output设备
1）、CPU
2）、Memory
3）、io
1、磁盘io
2、网络io
2、检查jvm堆
3、检查工作线程设置 参考技术B Logstash介绍 原创
2019-01-24 20:27:03
yinbiao123456
码龄3年
关注
目录
1 工作原理
1.1 输入
1.2 过滤器
1.3 输出
2 安装Logstash
3 Logstash实例
3.1 过滤器实例
3.2 日志输入实例
4 Logstash小结
5 Flume与Logstash对比
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地进行存储。尽管Logstash的早期目标是搜集日志，现在它的功能已完全不只于此。任何事件类型都可以加入分析，通过输入、过滤器和输出插件进行转换。与此同时，还提供了很多原生编解码工具简化消息处理。Logstash通过海量数据处理和多种多样的数据格式支持延伸了我们对数据的洞察力。
ELK 是Logstash的典型使用场景，用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示，Logstash在其过程中担任搬运工的角色。下面我们将详细讲述Logstash相关原理和功能。
1 工作原理
Logstash使用管道方式进行日志的搜集处理和输出。Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入插件从数据源那里消费数据，过滤器插件根据你的期望修改数据，输出插件将数据写入目的地。在logstash中，包括了三个阶段:输入input --> 处理filter（不是必须的） --> 输出output，如图3-1所示：
图3-1 Logstash工作原理
1.1 输入
数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据，如图3-2所示：
图3-2数据输入
目前，logstash主要支持的数据输入方式为：标准输入、文件输入、TCP输入、syslog输入、http_poller抓取、kafka消息队列输入等。
1.2 过滤器
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响，例如，利用利用 Grok 从非结构化数据中派生出结构、从 IP 地址破译出地理坐标 参考技术C logstash是一个功能强大的工具，可与各种部署集成。它提供了大量插件，可以帮助你解析，丰富，转换和缓冲来自各种来源的数据，好用，是个不错的软件 参考技术D 你好，还不错，Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地进行存储。

干货安装部署Logstash和Kibana

第一篇： logstash

1、 logstash概述

Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。顾名思义， Logstash收集数据对象就是日志文件。由于日志文件来源多（如：系统日志，服务器日志等），且内容杂乱，不便于人类进行观察。因此，我们可以使用Logstash对日志文件进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。

2、 logstash组成结构

Logstash通过管道进行运作，管道有两个必要的元素，输入（输入）和输出（输出），还有一个可选的元素 - 过滤器（filter）。输入插件从数据源获取数据，过滤器插件根据。用户指定的数据格式修改数据，输出插件则将数据写入到目的地如下图：

3、配置、安装部署

解压logstash-7.5.2.tar.gz

如果需要变更JAVA_HOME（或有多个JDK），可以修改logstash文件，

export JAVACMD="${JAVA_HOME_O}/bin/java"

在config 目录下新增 logstash.conf，内容如下：

input {

 file {

  path => "/home/esuser/logstash_data/ml-latest-small/movies"

  }

}

 

output {

 elasticsearch {

   hosts => ["http://192.168.242.207:9200"]

   index => "1995"

   #user => "elastic"

   #password => "changeme"

  }

}

标红处为elasticsearch服务器

启动：./logstash -f logstash.conf

4、其他说明

./logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.242.207:9200"] } }'

直接将控制台内容输入logstash

第二篇： Kibana

1、Kibana概述

Kibana是一个开源的分析和可视化平台，旨在与Elasticsearch合作.Kibana提供搜索，查看和存储在Elasticsearch索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析，并在各种图表，表格和地图中可视化数据

 2、安装部署

解压kibana-7.5.2-linux-x86_64.tar.gz

修改kibana.yml配置项

server.port: 5601

server.host: "192.168.242.207"

server.name: "hadoop07"

elasticsearch.hosts: ["http://192.168.242.207:9200"]

注意：标红处为elasticsearch服务器配置

启动：./kibana

3、成功见证

参考原文链接：https://blog.csdn.net/linxiyimeng007/article/details/80968577