Beats：为 Filebeat 配置 inputs

Posted 中国社区官方博客

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Beats：为 Filebeat 配置 inputs相关的知识，希望对你有一定的参考价值。

Filebeat 模块为常见日志格式提供最快的入门体验。如果你对如何使用 Filebeat 模块还不是挺了解的话，请参阅我之前的文章：

为了能够手动配置 Filebeat 而不是使用模块，你可以在配置文件 filebeat.yml 的 filebeat.inputs 部分定义一个列表的 inputs。这些 inputs 定义了 Filebeat 如何定位及处理 input 数据。

这个列表是一个 YAML 的数组。每个 input 由一个 - 符号开始。你可以定义多个 inputs，甚至你可以为同一个 input 类型定义多次，比如：

filebeat.inputs:
- type: log
  paths:
    - /var/log/system.log
    - /var/log/wifi.log
- type: log
  paths:
    - "/var/log/apache2/*"
  fields:
    apache: true
  fields_under_root: true

针对最基本的配置，定义一个 input，并且只有一个 path，比如：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

此示例中的输入收集路径 /var/log/*.log 中的所有文件，这意味着 Filebeat 将收集目录 /var/log/ 中以 .log 结尾的所有文件。 这里也支持 Go Glob 支持的所有模式。

要从预定义的子目录级别获取所有文件，请使用以下模式：/var/log/*/*.log。 这将从 /var/log 的子文件夹中获取所有 .log 文件。 它不会从 /var/log 文件夹本身获取日志文件。 目前不可能递归获取目录的所有子目录中的所有文件。

输入类型

你可以将 Filebeat 配置为使用以下输入（input）：

使用 container type 来收集 container 日志

在我之前的许多文章中，我使用了 log 来收集日志。我几乎没有使用其它的任何其它的格式来收集日志。在今天的练习中，我们来试其中的一个 container type 是进行实验。

我们知道，我们可以使用如下的命令：

docker logs -f <container_name>

来查看某个 container 的日志。在 Linux 机器上，container 日志的位置处于：

/var/lib/docker/containers/

我们可以在电脑上看到：

# pwd
/var/lib/docker/containers
root@liuxgu:/var/lib/docker/containers# ls
900ee28a2d6febd91ee1c13c67cd5f17c7efcc4a5156ca55e3039813c46a0e06
aae662d12f1709ebf1bca012bd2309d8d5e51b29510ede5ce8cd8e00315b0a5e
c0807f8e0118a6eb5fc96217aad4a7bc2ae0493977cb5fb8b61ab7e01169c3a7
cee77bd60d95cf25d7605c9c6b48a24b632dc61db9599c3e6b09afb089d36999
eed8017d2a2450e19c16f0f727333f335b5737d9c5c7d3e97213f384edab9085
f7f9174324f32445fde6ca556f9a0b1498fe19b303135b5e64f92f6a0a289dac
f96004623acb404ca882e8f2f3b666960016f90fdf0b800849c5fa7eb7aa3066

我们可以进入到其中的一个目录下，然后查看：

# pwd
/var/lib/docker/containers/900ee28a2d6febd91ee1c13c67cd5f17c7efcc4a5156ca55e3039813c46a0e06
root@liuxgu:/var/lib/docker/containers/900ee28a2d6febd91ee1c13c67cd5f17c7efcc4a5156ca55e3039813c46a0e06# ls
900ee28a2d6febd91ee1c13c67cd5f17c7efcc4a5156ca55e3039813c46a0e06-json.log
checkpoints
config.v2.json
hostconfig.json
hostname
hosts
mounts
resolv.conf
resolv.conf.hash
root@liuxgu:/var/lib/docker/containers/900ee28a2d6febd91ee1c13c67cd5f17c7efcc4a5

在上面，我们可以看到文件 900ee28a2d6febd91ee1c13c67cd5f17c7efcc4a5156ca55e3039813c46a0e06-json.log。这个 log 文件就是我们想要导入的 container 日志。我们可以打开并查看其内容。

我们可以修改在 /etc/filebeat/filebeat.yml 文件。在这个文件中，我们添加如下的 input：

/etc/filebeat/filebeat.yml

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.


# 下面是添加的部分
- type: container
  enabled: true
  paths:
    - /var/lib/docker/containers/*/*.log

我们在添加上面的部分后，重新启动 filebeat：

service filebeat restart

我们可以查看 filebeat 的服务运行情况：

service filebeat status
# service filebeat status
● filebeat.service - Filebeat sends log files to Logstash or directly to Elasti>
     Loaded: loaded (/lib/systemd/system/filebeat.service; disabled; vendor pre>
     Active: active (running) since Mon 2021-07-19 14:45:19 CST; 2s ago
       Docs: https://www.elastic.co/beats/filebeat
   Main PID: 12477 (filebeat)
      Tasks: 13 (limit: 18982)
     Memory: 67.9M
     CGroup: /system.slice/filebeat.service
             └─12477 /usr/share/filebeat/bin/filebeat --environment systemd -c

上面表明，filebeat 服务正在运行。

我们可以回到 Kibana 中，并且查看 container 的日志信息：

在上面，我们可以清楚得看到 container 的日志信息。

使用 TCP type 来收集日志

接下来，我们来使用 TCP type 来收集日志。和上面的一样，我们在 filebeat.yml 文件中添加如下的语句：

/etc/filebeat/filebeat.yml

filebeat.inputs:

# 添加的部分
- type: tcp
  max_message_size: 10MiB
  host: "0.0.0.0:9900"

添加完毕后，我们重新启动 Filebeat：

service filebeat restart

同样，我们使用如下的命令来检查 filebeat 的运行情况：

service filebeat status

在上面，我们添加了一个 TCP 的输入。它监听的地址是 0.0.0.0:9900。我们使用如下的命令来检查这个 9900 的端口是否已经被启用：

# netstat -tulpn | grep 9900
tcp6       0      0 :::9900                 :::*                    LISTEN      18058/filebeat

从上面我们可以看出来，端口地址 9900 被 filebeat 所使用。

我们可以使用如下的命令来做一个测试：

echo "field1 field2 field3" | nc 192.168.0.4 9900

我们可以在 Discover 中查找这个信息：

上面显示在 message 字段中，我们可以看到之前我们写入的信息 "field1 field2 field3"。这说明我们的 TCP 输入的配置是成功的。

以上是关于Beats：为 Filebeat 配置 inputs的主要内容，如果未能解决你的问题，请参考以下文章

ElasticSearcho从入门到放弃:Beats

ElasticSearcho从入门到放弃:Beats

ElasticSearcho从入门到放弃:Beats

Filebeat 核心配置详解

filebeat配置文件

Beats：使用 Filebeat 中的 HTTP JSON input 来摄入网络服务数据