FileBeats配置应用详解

Posted jedi1995

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FileBeats配置应用详解相关的知识,希望对你有一定的参考价值。

一、FileBeats特点

1.读取日志文件,但不做数据的解析处理

2.保证数据“At Least Once” 至少被读取一次,即数据不会丢失,某些情况下会重复消费

3.其他能力:处理多行数据,解析Json数据,简单的过滤功能

二、配置文件大致结构

技术图片

6版本之前的OutPut可以有多个,之后的处于性能考虑只能有一个

三、常见输入类型配置介绍

1.标准输入

语法格式:

filebeat.inputs:
  - type: stdin
...

常用可接的配置选项:

encoding  指定编码方式

exclude_lines 忽略正则规则匹配到的行,exclude_lines: [‘^DBG‘]表示 忽略 DBG  开始的行,无默认值,但是空行会被忽略

include_lines 与上述规则相反,当和上述选项一起出现时,该选项优先级高,无关配置文件中的顺序

max_bytese 处于单条数据的最大字节数,超过的将被丢弃,默认10MB

2.log输入

语法格式

filebeat.inputs:
- type: log
  paths:
    - /var/log/messages
    - /var/log/*.log
常用可接的配置选项:(有些与上述相同的就不列举了)
paths 指定的文件,可用通配符,每个路径一行且以- 开头
recursive_glob.enabled 启用递归通配 例如  /foo/** 可以是 /foo, /foo/*, /foo/*/*等,默认启用
exclude_files 忽略的文件

四、常见输出类型配置介绍

1.标准输出

语法格式

output.console:
  pretty: true
常用可接的配置选项:
pretty 将输出的json美化
codec 默认输出json格式,可以自定改变

其他输出后续更新




 

以上是关于FileBeats配置应用详解的主要内容,如果未能解决你的问题,请参考以下文章

通过 filebeats 或 nxlog 等日志收集器读取 XEL(SQL Server 扩展事件文件)

链路追踪(zipkin+sleuth+kafka+mysql+ELK+filebeats)

ELK 之数据收集传输过滤 Filebeat+Logstash 部署

2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch

filebeat 配置文件

Filebeat 核心配置详解