filebeat使用multiline丢失数据问题

Posted micmouse521

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了filebeat使用multiline丢失数据问题相关的知识,希望对你有一定的参考价值。

  最近部署filebeat采集日志。

  发现配置multiline后,日志偶尔会丢失数据,而且采集到的数据长度都不相同,所以和日志长度没有关系。

  查阅filebeat官网后,找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件,发现需要合并的日志行数超过了500行。

max_lines
    The maximum number of lines that can be combined into one event. 
   If the multiline message contains more than max_lines, any additional lines are discarded. The default is 500.

  增加该配置后,解决multiline丢失数据问题。

multiline.max_lines: 10000

  

以上是关于filebeat使用multiline丢失数据问题的主要内容,如果未能解决你的问题,请参考以下文章

Filebeat 7.* 配置

Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引

FileBeats配置应用详解

filebeate configmap自定义

Kafka+Zookeeper+Filebeat+ELK 搭建日志收集系统

nginx access 日志 ELK 加入REDIS 防止日志丢失 filebeat7.4.2 发送日志到redis 6.2.2