询问流利的系统日志聚合器

Posted

技术标签:

【中文标题】询问流利的系统日志聚合器【英文标题】:Ask fluentd syslog aggregator 【发布时间】:2020-05-19 19:44:44 【问题描述】:

我已经设置了一个 fluentd 节点来接收任何 syslog 消息并将其发送到 graylog。

但是目前 Graylog 并没有接收到之前 fluentd 接收到的所有日志。如果我检查 td-agent.log fluentd 已经收到日志,但似乎没有全部发送到 graylog。

这是我的 td-agent.conf 配置

<source>
  @type syslog
  port 5140
  bind 0.0.0.0
  tag system
</source>
<match system**>
  @type copy
  <store>
    @type gelf
    host 10.150.2.21
    port 5140
    flush_interval 5s
  </store>
  <store>
     @type stdout
  </store>

</match>

有人可以帮我吗?

【问题讨论】:

【参考方案1】:

检查/var/log/graylog-server/server.log的graylog服务器日志是否有错误,可能是字段类型有问题(混合类型:num,ES无法存储的字符串)。如果是这样,请尝试在 EL 中为受影响的字段创建自定义索引映射。

https://docs.graylog.org/en/3.3/pages/configuration/elasticsearch.html#custom-index-mappings

【讨论】:

以上是关于询问流利的系统日志聚合器的主要内容,如果未能解决你的问题,请参考以下文章

Docker CE 和系统日志

分布式环境中如何使用聚合日志系统ELK

Kubernetes中的多行流利日志

尾部多个日志流利

安装Flume——海量日志收集聚合系统

5分钟搭建轻量级日志系统Loki