配置Filebeat将数据直接输入elasticsearch

Posted 2020-11-21

配置Filebeat

Filebeat模块为常见的日志格式提供了最快的入门体验。请参阅常见日志格式的快速入门 以了解如何开始使用模块。如果您使用Filebeat模块开始使用，您可以跳过本节中的内容（包括剩余的入门步骤），并直接进入常见日志格式快速入门 页面。

要配置Filebeat，请编辑配置文件。对于rpm和deb，你会在找到配置文件/etc/filebeat/filebeat.yml。在Docker下，它位于/usr/share/filebeat/filebeat.yml。对于mac和win，请查看刚刚提取的存档。还有一个完整的示例配置文件称为filebeat.reference.yml 。

有关配置文件结构的更多信息，请参阅Beats平台参考的 配置文件格式部分 。

以下是filebeat该filebeat.yml文件部分的示例。Filebeat为大多数配置选项使用预定义的默认值。

filebeat.inputs：
-  type：log 
  enabled：true 
  paths：
    - 
    / var / log / * 。log ＃ -  c： programdata  elasticsearch  logs  *

配置Filebeat：

1. 定义日志文件的路径（或路径）。

   对于最基本的Filebeat配置，您可以使用单个路径定义单个输入。例如：

   filebeat.inputs:
   - type: log
    enabled: true
    paths:
      - /var/log/*.log

   此示例中的输入收集路径中的所有文件/var/log/*.log，这意味着Filebeat将收集以该目录/var/log/结尾的所有文件.log。

   要从预定义级别的子目录中获取所有文件，可以使用以下模式： /var/log/*/*.log。这.log将从子文件夹中获取所有文件/var/log。它不会从/var/log文件夹本身获取日志文件。目前无法递归获取目录所有子目录中的所有文件。

2. 如果直接将输出发送到Elasticsearch（而不是使用Logstash），请设置Filebeat可以找到Elasticsearch安装的IP地址和端口：

   output.elasticsearch：
    hosts：[“192.168.1.41：9200”]

3. 如果您打算使用随Filebeat提供的示例Kibana仪表板，请配置Kibana端点：

   setup.kibana：
    host：“localhost：5601”

   哪里host是主机名，其中Kibana运行，例如机器的端口，localhost:5601。

   如果您在端口号后面指定路径，则需要包含方案和端口：http://localhost:5601/path。

4. 如果您已经确保了Elasticsearch和Kibana的安全性，那么在运行设置并启动Filebeat的命令之前，您需要在配置文件中指定凭证。例如：

   output.elasticsearch:
    hosts: ["myEShost:9200"]
    username: "filebeat_internal"
    password: "{pwd}" 
   setup.kibana:
    host: "mykibanahost:5601"
    username: "my_kibana_user"  
    password: "{pwd}"

   	这些示例显示了一个硬编码的密码，但您应该将敏感值存储在秘密密钥库中。
   	该username和password为Kibana设置可选。如果未指定Kibana的凭据，则Filebeat将使用 为Elasticsearch输出指定的username和password。
   	如果您打算设置Kibana仪表板，则用户必须具有kibana_user 内置角色或等效权限。