8、使用多实例filebeat收集日志

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了8、使用多实例filebeat收集日志相关的知识,希望对你有一定的参考价值。

参考技术A

1、在linux上运行多个filebeat实例,一个直接输出到es,一个输出到logstash
2、同时建议es使用专门的负载均衡节点来承受输出,不要直接输出到数据节点

灵感来源于 https://zh.codepre.com/how-to-19067.html
这个问题困扰了我很久,百度翻完了也找不到合适的方案,大部分讲的都比较浅显,在bing才找到这篇文章,实在感谢大神。

我这里采用systemd方式

1、编辑多filebeat实例脚本

2、编辑/etc/filebeat-elasticsearch/filebeat.yml

3、启动

4、在kibana上查看日志

1、准备日志样本

2、复制filebeat-logstash

3、编辑/etc/filebeat-logstash/filebeat.yml

4、编辑logstash
4.1、input.conf

4.2、tomcat_out.conf

5、启动logstash,在kibana查看日志

以上是关于8、使用多实例filebeat收集日志的主要内容,如果未能解决你的问题,请参考以下文章

ELK之filebeat收集多日志并自定义索引

日志收集 实例

docker容器日志收集方案(方案一 filebeat+本地日志收集)

Kafka+Zookeeper+Filebeat+ELK 搭建日志收集系统

filebeat-收集日志写入到Kafka

3-ELK+Kafka+Filebeat 海量级日志收集 TB PB级别