ELK组件

Posted 2020-12-10 yutb

Filebeat

　　Filebeat 是用于转发和集中日志数据的轻量级传输程序。Filebeat 可以监听指定的日志文件或位置，从中收集日志事件并将其转发到 Elasticsearch 或 Logstash 进行索引。Filebeat 的工作原理如下：

1. Filebeat 启动一个或多个 Input，Input 在指定的位置中查找日志数据。

2. Filebeat 为每个找到的日志启动 Harvester，Harvester 读取日志并将日志数据发送到 libbeat。

3. libbeat 聚集数据，然后将聚集的数据发送到配置的 Output。

Logstash

　　Logstash 是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。包含输入、过滤和输出插件。Logstash 的数据处理流程如下：

1. 输入：以连续的流式传输方式从日志、Web应用、数据存储等采集数据。

2. 过滤：数据从源传输到目标存储的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式。

3. 输出：输出数据到存储库中。

Elasticsearch

　　Elasticsearch 是一个分布式的搜索和分析引擎，适用于所有类型的数据。根据文档中出现的每个特有词汇来建立倒排索引，这样可以近实时地对文档数据进行搜索。

　　通过 restful API 添加，更新，检索和删除数据，以 JSON 文档的形式存储数据。