ELK——Filebeat介绍及部署

Posted huang-niu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ELK——Filebeat介绍及部署相关的知识,希望对你有一定的参考价值。

一、Filebeat介绍

Filebeat是一种轻量型,开源的日志采集工具,安装于客户端中来收集指定的日志目录,将收集的日志发送到logstash、es、redis、kafka中,来代替logstash的数据采集方案,logstash在运行过程中相当耗费服务器资源,就算没有在收集日志一样会对CPU,内存造成一个相当高的损耗。

二、Filebeat工作流程

技术分享图片

Prospector(6.3版本以后替换成了inputs)是filebeat的检测进程,用来检测指定的文件。

Harvester是filebeat的读取进程,用来读取日志文件的内容。

Spooler是filebeat的数据处理程序,它会进行一个日志数据的处理,然后集合这些最新的数据,最后发送至logstash、es、redis、kafka中。

三、Filebeat安装

  1. 从官网下载相应安装包
    wget   https://www.elastic.co/downloads/beats/filebea 

  2. 将安装包解压至相应目录(下面是6.3.2版本)
    tar  xf  filebeat-6.3.2-linux-x86_64.tar.gz  -C   /usr/local

  3. 重写配置文件(详细见四、Filebeat配置文件详解)

  4. 测试filebeat启动
    cd /usr/local/filebeat6.3.2
    ./filebeat -e -c filebeat.yml -d "Publish"

  5. 转入后台启动
    ./filebeat -e -c filebeat.yml -d "Publish"  > /dev/null 2>&1 &

四、Filebeat配置文件详解

Inputs采集日志(Prospector在6.3版本中替换成了inputs,这里我们用6.3版本配置文件)

  1. 编辑filebeat的yml文件:
filebeat.inputs:
  - type: log      #指定收集类型
    paths:         #指定路径如下
      - /var/log/*.log
      include_files: [‘[ERROR]’]    #使用正则匹配需要的数据
    fields:      
      type:     #添加一个字段,用于区分不同的日志,方便logstash进行匹配
      fields_under_root: true  #添加此字段会使上面的字段与其他字段同级,使logstash方便拿到对应的数据。
      multiline:              #多行匹配
      pattern: ’^[ERROR]’      #使用正则进行匹配
      negate: true             #不是以上面正则匹配的默认合并上一行
      match: after               #合并到上一行的末尾
#Output输出日志(输出至logstash中)
output.logstash:
  hosts: [“192.168.0.174:5044”]       

五、以下使用redis做演示修改配置文件

filebeat.yml配置文件,整理后格式:

filebeat.inputs:
  - type: log
    paths:
      - /logs/*/error/error.log
    tags: ["test"]    #项目名
   #exclude_lines: [‘^DBG‘]
   #include_lines: [‘^[ERROR]‘]
    fields:
        host_name: 192.168.0.30
       document_type: "demo"  #平台名
     fields_under_root: true
     multiline:
       pattern: ‘^[ERROR]‘
       negate: true
       match: after
output.redis:
        hosts: ["192.168.0.174:6379"]
        password: "up366.com"
        key: "filebeat"
        db: 0
        datatype: list

 原创文章,转载请注明:
转载自纯种黄牛博客















以上是关于ELK——Filebeat介绍及部署的主要内容,如果未能解决你的问题,请参考以下文章

原版Filebeat+ELK

统一日志ELK部署配置——filebeat

ELK+filebeat日志分析系统部署文档

从0开始搭建ELK及采集日志的简单应用

Kafka架构及Filebeat+Kafka+ELK集群搭建

Kafka架构及Filebeat+Kafka+ELK集群搭建