Filebeat的架构分析配置解释与示例

Posted Thinkgamer_

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Filebeat的架构分析配置解释与示例相关的知识,希望对你有一定的参考价值。

转载请注明出处:http://blog.csdn.net/gamer_gyt
博主微博:http://weibo.com/234654758
Github:https://github.com/thinkgamer


写在前边的话


       在看filebeat之前我们先来看下Beats,Beats 平台是 Elastic.co 从 packetbeat 发展出来的数据收集器系统。beat 收集器可以直接写入 Elasticsearch,也可以传输给 Logstash。其中抽象出来的 libbeat,提供了统一的数据发送方法,输入配置解析,日志记录框架等功能。也就是说,所有的 beat 工具,在配置上,除了 input 以外,在output、filter、shipper、logging、run-options 上的配置规则都是完全一致的
       而这里的filebeat就是beats 的一员,目前beat可以发送数据给Elasticsearch,Logstash,File,Console四个目的地址。filebeat 是基于原先 logstash-forwarder 的源码改造出来的。换句话说:filebeat 就是新版的 logstash-forwarder,也会是 ELK Stack 在 shipper 端的第一选择。

Filebeat的架构设计


filebeat的架构设计
当我们安装完filebeat之后,我们可以在filebeat的安装目录下看到两个文件

  • filebeat.template.json (输出的文件格式,在filebeat的template中指定,当服务启动时,会被加载)
  • filebeat.yml(所有的配置都在该文件下进行)

整体架构理解:

        上边我们也说了filebeat是用来收集日志的,那么在filebeat.yml中会配置指定的监听文件,也就是上图中的一个个log,这个log的目录是在prospectors中设置,在看配置文件的时候便可以很明白的看出来,对于prospectors定位每个日志文件,Filebeat启动harvester。每个harvester读取新的内容一个日志文件,新的日志数据发送到spooler(后台处理程序),它汇集的事件和聚合数据发送到你已经配置了Filebeat输出。

环境准备


要开始使用自己的Filebeat设置,安装和配置这些相关产品:

  • Elasticsearch存储和索引数据。
  • Kibana为UI。
  • Logstash(可选)将数据插入到Elasticsearch。

具体配置可参考:http://blog.csdn.net/gamer_gyt/article/details/52654263

部署filebeat


deb:

curl -L -O https://download.elastic.co/beats/filebeat/filebeat_1.3.1_amd64.deb
sudo dpkg -i filebeat_1.3.1_amd64.deb

rpm:

curl -L -O https://download.elastic.co/beats/filebeat/filebeat-1.0.1-x86_64.rpm
sudo rpm -vi filebeat-1.0.1-x86_64.rpm

mac:

curl -L -O https://download.elastic.co/beats/filebeat/filebeat-1.3.1-darwin.tgz
tar xzvf filebeat-1.3.1-darwin.tgz

win:

  • 下载windows zip文件 点击下载.
  • 解压文件到 C:\\Program Files.
  • 重命名为 Filebeat.
  • 打开PowerShell提示符作为管理员(右键单击PowerShell的图标,并选择以管理员身份运行)。如果您运行的是Windows XP,则可能需要下载并安装PowerShell
  • 运行以下命令来安装Filebeat作为Windows服务

cd ‘C:\\Program Files\\Filebeat’
C:\\Program Files\\Filebeat> .\\install-service-filebeat.ps1

在启动filebeat服务之前,需要先修改配置文件,接下来我们看下配置文件

配置解析


上边我么也说了FileBeat的四种输出方式为输出到Elasticsearch,logstash,file和console,下面我们具体看下示例
PS:

  • 这里说的是需要修改的配置文件,没有提的就是不需要修改
  • 每次修改完配置文件都需要重启filebeat服务
  • 这里不要追究时间的问题,小主是测试,主要是为了方便记录

这里主要是自定义监听文件的路劲,我设置的是/opt/elk/log/*.log
然后在filebeat.yml中的prospectors路径设置如下(该配置为以下四种方式通用)

paths:
- /opt/elk/log/*.log

1:output of Elasticsearch

filebeat.yml中output的配置将除了es之外注释掉

output
  elasticsearch:
    hosts: ["192.168.197.128:9200"]  #es的ip地址和端口,如果有多个,中间用逗号分隔
    worker: 1             #对应es的个数
    index: "filebeat"     #索引根名称
    template:
      name: "filebeat"    #模板名字和对应的json文件
      path: "filebeat.template.json"
    max_retries: 3         #发送到特定logstash的最大尝试次数。如果达到该次数仍不成功,事件将被丢弃。默认是3,值0表示禁用重试。值小于0将无限重试知道事件已经发布。

    bulk_max_size: 20000   #单个elasticsearch批量API索引请求的最大事件数。默认是50
    timeout: 90          #elasticsearch请求超时事件。默认90秒
    flush_interval: 5    #新事件两个批量API索引请求之间需要等待的秒数。如果bulk_max_size在该值之前到达,额外的批量索引请求生效。

往log文件中追加日志

echo “123456789” >> test1.log

这个时候我们看一下效果:
这里写图片描述

2:output of logstash

filebeat.yml中output的配置将除了logstash之外注释掉

output:
    logstash:
        hosts: ["192.168.197.130:5044"]
        worker: 2
        loadbalance: true
        index: filebeat
        
这里  worker  的含义,是 beat 连到每个 host 的线程数。
在  loadbalance  开启的情况下,意味着有 4 个worker 轮训发送数据

则对应的logstash配置,编写一个配置文件

sudo vim filebeat_logstash_out.conf

beat 写入 Logstash 时,会配合 Logstash-1.5 后新增的 metadata 特性。将 beat 名和 type 名 记录在 metadata 里。所以对应的 Logstash 配置应该是这样:

input {
    beats {
        port => 5044
    }
}
output {
    elasticsearch {
        hosts => ["http://192.168.197.128:9200"]
        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
        document_type => "%{[@metadata][type]}"
    }
    stdout{
        codec=>rubydebug
    }
}

启动conf

bin/logstash -f config/filebeat_logstash_out.conf

往log文件中追加日志

echo “2222333344445555” >> test1.log

前往查看效果:
这里写图片描述

这里写图片描述

3:output of File

filebeat.yml中output的配置将除了file之外注释掉

output:
  file:
    path: "/opt/elk/log/filebeat_output_file"
    filename: filebeat
    rotate_every_kb: 10000
    number_of_files: 7

往log文件中追加日志:

echo “this is filebeat output of file” >> test1.log

查看效果:
这里写图片描述

4:output of Console

filebeat.yml中output的配置将除了cosnsole之外注释掉

output:
  console:
    pretty: true

重启启动服务:

sudo filebeat -e -c /etc/filebeat/filebeat.yml

往log文件中追加日志:

echo “this is filebeat output of console” >> test1.log

前往服务启动窗口查看效果:
这里写图片描述

ELK+Filebeat的Demo


1:在/opt/elk/log目录下有三个文件分别是test1.log,test2.log,test3.log**

2:通过python脚本往三个文件中追加内容,内容格式如下:

nameageaddresscompany
aa23beijingalibaba
Python的脚本内容如下:
#-*-coding:utf-8-*-

name_list = ['aa','bb','cc','dd','ee']
addr_list = ['beijing','shanghai','guangzhou']
company_list =['baidu','tengxun','alibb']

import random
import time

def get_name():
    return name_list[random.randint(0,4)]

def get_age():
    return random.randint(20,25)

def get_addr():
    return addr_list[random.randint(0,2)]

def get_comp():
    return company_list[random.randint(0,2)]

if __name__=="__main__":
    while True:
        print("%s %s %s %s"%(get_name(),get_age(),get_addr(),get_comp()))
        str_line = get_name()+" "+str(get_age())+" "+get_addr()+" "+get_comp()
        import os
        os.system("echo %s >> test1.log" % str_line)
        time.sleep(1)

3:filebeat 的配置文件使用output=logstash

filebeat.yml

output:
    logstash:
        hosts: ["192.168.197.130:5044"]
        worker: 2
        loadbalance: true
        index: filebeat

4:filebeat_logstash_out.conf

input {
    beats {
        port => 5044
    }
}

filter{
  if [type] == 'log'{
    grok{
        match=>{
            "message"=>"%{WORD:username} %{WORD:age} %{WORD:address} %{WORD:company}"        
            }
    }
  }
}

output {
    elasticsearch {
        hosts => ["http://192.168.197.128:9200"]
        index => "%{[@metadata][beat]}-%{+YYYY.MM}"
        document_type => "%{[@metadata][type]}"
    }
    stdout{
        codec=>rubydebug
    }
}

5:启动服务

  • 启动python脚本
  • 启动conf配置文件

6:web查看结果


END

推荐一篇讲解配置含义的文章:
http://www.ttlsa.com/elk/elk-beats-common-configure-section-describe/


【技术服务】,详情点击查看: https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg

扫一扫 关注微信公众号!号主 专注于搜索和推荐系统,尝试使用算法去更好的服务于用户,包括但不局限于机器学习,深度学习,强化学习,自然语言理解,知识图谱,还不定时分享技术,资料,思考等文章!


以上是关于Filebeat的架构分析配置解释与示例的主要内容,如果未能解决你的问题,请参考以下文章

Elasticsearch + Logstash + Filebeat + Kibana搭建ELK日志分析平台(官方推荐的BEATS架构)

storm项目架构分析

ELK 架构之 Logstash 和 Filebeat 安装配置

ELK 架构之 Logstash 和 Filebeat 安装配置

Filebeat 与Kibana仪表板(二十一)

filebeat的层次架构图和配置部署