elastic stack 基础组件beats详解

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了elastic stack 基础组件beats详解相关的知识,希望对你有一定的参考价值。

elastic stack 基础组件beats详解


fielbeat

filebeat:
spool_size: 1024              # 最大可以攒够 1024 条数据一起发送出去
idle_timeout: "5s"             # 否则每5 秒钟也得发送一次
registry_file: ".filebeat"         # 文件读取位置记录文件,会放在当前工作目录下。所以如果你换一个工作目录执行 filebeat
会导致重复传输!
config_dir: "path/to/configs/contains/many/yaml" # 如果配置过长,可以通过目录加载方式拆分配置
prospectors:                 # 有相同配置参数的可以归类为一个 prospector
-
fields:
ownfield: "mac"               # 类似logstash 的 add_fields
paths:
- /var/log/system.log                      # 指明读取文件的位置
- /var/log/wifi.log
include_lines: ["^ERR", "^WARN"]          # 只发送包含这些字样的日志
exclude_lines: ["^OK"]                     # 不发送包含这些字样的日志
document_type: "apache"                    # 定义写入ES时的_type值
ignore_older: "24h"                        # 超过 24小时没更新内容的文件不再监听_files,只要文件名一变化立刻关闭文件句柄,保证文件可以被删除,缺陷是可能会有日志还没读完
scan_frequency: "10s"                      # 每 10秒钟扫描一次目录,更新通配符匹配上的文件列表
tail_files: false                          # 是否从文件末尾开始读取
harvester_buffer_size: 16384               # 实际读取文件时,每次读取 16384 字节
backoff: "1s"                              #  每1秒检测一次文件是否有新的一行内容需要读取
paths:
- "/var/log/apache/*"                      # 可以使用通配符
exclude_files: ["/var/log/apache/error.log"]
-
input_type: "stdin"                        # 除了"log",还有 "stdin"
multiline:                                 # 多行合并
pattern: ‘^[[:space:]]‘
negate: false
match: after

Filebeat 发送的日志,会包含以下字段:

  • beat.hostname beat 运行的主机名

  • beat.name shipper 配置段设置的 name ,如果没设置,等于

  • beat.hostname

  • @timestamp 读取到该行内容的时间

  • type 通过 document_type 设定的内容

  • input_type 来自 "log" 还是 "stdin"

  • source 具体的文件名全路径

  • offset 该行日志的起始偏移量

  • message 日志内容

  • fields 添加的其他固定字段都存在这个对象里面


packetbeat

本文出自 “浅浅的淡淡” 博客,请务必保留此出处http://cuixiang.blog.51cto.com/8204722/1926558

以上是关于elastic stack 基础组件beats详解的主要内容,如果未能解决你的问题,请参考以下文章

Beats:将 Unix 域套接字中的数据索引到 Elastic Stack

Beats:将 Unix 域套接字中的数据索引到 Elastic Stack

浅尝 Elastic Stack Logstash + Beats + Kafka

浅尝 Elastic Stack Logstash + Beats + Kafka

Elastic Stack 安装

浅尝 Elastic Stack Logstash + Beats 读取 Spring Boot 日志