[filebeat]采集docker日志

Posted 2023-05-15

参考技术A Filebeat的工作原理：启动Filebeat时，它会启动一个或多个inputs，这些inputs将查找指定的log的路径。对于查找到的每个日志，Filebeat将启动一个harvester。每个harvester读取单个日志的新内容，并将新日志数据发送到libbeat，libbeat聚合事件并将聚合数据发送到配置的output。

filebeat采集多个目录日志

参考技术A

2020-07-30

预期效果：在kibana中建立不同的所以，通过索引可以查到不同日志的信息
（如果不同目录下的日志格式和类型一致，可以输出到logstash的同一端口，反之应该分开，即一个日志就需要写一个filebeat配置文件+一个logstash配置文件）

采集目标日志的路径：
C:\\testlog\\test.log（例：2020-07-30 15:05:54 | INFO | This is a test log13, kkkk55!）
C:\\testlog1\\test1.log（例：2020-07-30 14:56:30,674 [112] DEBUG performanceTrace 1120 http://api.114995.com:8082/api/Carpool/QueryMatchRoutes 183.205.134.240 null 972533 310000 TITTL00 HUAWEI 860485038452951 3.1.146 HUAWEI 5.1 113.552344 33.332737 发送响应完成 Exception:(null)）
（两个日志的内容格式不同）

配置文件路径：D:\\Linux\\data\\ELK-Windows\\elk\\filebeat-7.8.0-windows-x86_64\\filebeat.yml

配置文件路径：D:\\Linux\\data\\ELK-Windows\\elk\\filebeat-7.8.0-windows-x86_64\\filebeat1.yml
（拷贝第一个filebeat.yml文件重命名并修改内容）

配置文件路径：D:\\Linux\\data\\ELK-Windows\\elk\\logstash-7.8.0\\config\\logstash.yml

配置文件路径：D:\\Linux\\data\\ELK-Windows\\elk\\logstash-7.8.0\\config\\logstash.yml（拷贝修改）

powershell执行（一共开启4个powershell终端）
数据存储路径：D:\\Linux\\data\\ELK-Windows\\elk\\logstash-7.8.0\\config

数据存储路径：D:\\Linux\\data\\ELK-Windows\\elk\\logstash-7.8.0\\config\\logstash1（自己新建）

默认的数据存储路径是D:\\Linux\\data\\ELK-Windows\\elk\\filebeat-7.8.0-windows-x86_64\\data

默认的数据存储路径是D:\\Linux\\data\\ELK-Windows\\elk\\filebeat-7.8.0-windows-x86_64\\data1
（注意：data1原本是没有的，需要自己创建）

（必须指定新的数据存储路径，否则执行失败）

1.分别在两个日志文件中新加几条日志记录，并保存
2.观察 http://172.10.0.108:9100/ 是否生成新的索引