FileBeats配置应用详解

Posted 2022-05-11 jedi1995

一、FileBeats特点

1.读取日志文件，但不做数据的解析处理

2.保证数据“At Least Once” 至少被读取一次，即数据不会丢失，某些情况下会重复消费

3.其他能力：处理多行数据，解析Json数据，简单的过滤功能

二、配置文件大致结构

6版本之前的OutPut可以有多个，之后的处于性能考虑只能有一个

三、常见输入类型配置介绍

1.标准输入

语法格式：

filebeat.inputs:
　　- type: stdin
     ...

常用可接的配置选项：

encoding  指定编码方式

exclude_lines 忽略正则规则匹配到的行，exclude_lines: [‘^DBG‘]表示 忽略 DBG  开始的行，无默认值，但是空行会被忽略

include_lines 与上述规则相反，当和上述选项一起出现时，该选项优先级高，无关配置文件中的顺序

max_bytese 处于单条数据的最大字节数，超过的将被丢弃，默认10MB

2.log输入

语法格式

filebeat.inputs:
- type: log
  paths:
    - /var/log/messages
    - /var/log/*.log
常用可接的配置选项：（有些与上述相同的就不列举了）
paths 指定的文件，可用通配符，每个路径一行且以- 开头
recursive_glob.enabled 启用递归通配 例如  /foo/** 可以是 /foo, /foo/*, /foo/*/*等，默认启用

exclude_files 忽略的文件

四、常见输出类型配置介绍

1.标准输出

语法格式

output.console:
  pretty: true
常用可接的配置选项：

pretty 将输出的json美化
codec 默认输出json格式，可以自定改变

其他输出后续更新