FileBeat常见问题

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FileBeat常见问题相关的知识,希望对你有一定的参考价值。

参考技术A

1. Too many open file handler?(太多打开的文件句柄)

Filebeat保持文件处理器打开,以防它到达文件的末尾,以便它可以实时读取新的日志行。如果Filebeat正在收集大量文件,那么打开文件的数量可能成为一个问题。在大多数环境中,主动更新的文件数量很少。应该相应地设置close_inactive配置选项,以关闭不再活动的文件。

2. Filebeat没有从一个文件收集行

为了解决这个问题:

3. Filebeat占用了太多CPU资源

Filebeat可能配置扫描文件太过频繁。检查filebeat.yml中的scan_frequency设置。

filebeat收集日志常见问题

  1. filebeat收集日志文件如果日志文件重命名,是否会重新收集日志呢?

答案:不会,因为收集日志是通过文件的inode的,linux中重名名,只是改变了文件名,文件在磁盘的存储位置即inode并未改变。

filebeat中的data下面的registry 可以查看filebeat读取的文件和offset。如
重命名:
mv table_io_1.log table_io_3.log

变化
技术分享图片

重名后变为:

技术分享图片

filebeat的日志中也可以看出来的
技术分享图片

  1. 第一次安装filebeat的时候,文件的读取是否是把文件全部一次性的收集还是收集新增的呢?

默认是全部收集,不过可以通过参数 tail_files: true 进行调整,以免一次读取了很多不需要的日志。

以上是关于FileBeat常见问题的主要内容,如果未能解决你的问题,请参考以下文章

filebeat收集日志常见问题

filebeat使用multiline丢失数据问题

Filebeat占用文件句柄

配置Filebeat将数据直接输入elasticsearch

FileBeat+kafka进行日志实时传输

es filebeat 日志采集