filebeat 多个日志输出到logstash后怎么区分

Posted 2023-05-18

它是用来替代 Logstash Forwarder 的下一代 Logstash 收集器，是为了更快速稳定轻量低耗地进行收集工作，它可以很方便地与 Logstash 还有直接与 Elasticsearch 进行对接.
filebeat 是在 Logstash Forwarder 的源码基础上演化过来的项目.

1. logstash和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。甚至最后我决定用filebeat作为日志采集端工具的时候，还有人问为什么不用flume,logstash等采集工具。
2. logstash出现时间要比filebeat早许多，随着时间发展，logstash不仅仅是一个日志采集工具，它也是可以作为一个日志搜集工具，有丰富的input|filter|output插件可以使用。常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容上送到kafka消息队列，然后使用logstash集群读取消息队列内容，根据配置文件进行过滤。上送到elasticsearch。 参考技术A 它是用来替代 Logstash Forwarder 的下一代 Logstash 收集器，是为了更快速稳定轻量低耗地进行收集工作，它可以很方便地与 Logstash 还有直接与 Elasticsearch 进行对接.filebeat 是在 Logstash Forwarder 的源码基础上演化过来的项目.1. logstash和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。甚至最后我决定用filebeat作为日志采集端工具的时候，还有人问为什么不用flume,logstash等采集工具。2. logstash出现时间要比filebeat早许多，随着时间发展，logstash不仅仅是一个日志采集工具，它也是可以作为一个日志搜集工具，有丰富的input|filter|output插件可以使用。常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容上送到kafka消息队列，然后使用logstash集群读取消息队列内容，根据配置文件进行过滤。上送到elasticsearch。filebeat 多个日志输出到logstash后怎么区分 参考技术B 我理解你的问题应该是想区别多台机器的日志
如果是这样，可以根据索引
修改 30-output.conf 文件的output
tags 是filebeat里面配置的属性
output
elasticsearch
hosts => ["ES的IP地址:9200"]
index => "%tags-%+YYYY.MM.dd"

Logstash解析日志实例

配置Filebeat输出到Logstash
Logstash中配置Filebeat输入
使用Grok Filter插件解析日志
使用Geoip插件丰富数据
将数据索引到Elasticsearch
多个输入输出插件配置介绍

来自为知笔记(Wiz)