EFK（elasticsearch + fluentd + kibana）日志系统

Posted 2022-01-06 技术支持department

1、fluentd实现功能的定位

配置文件：/etc/td-agent/td-agent.conf

typical routing scenarios.

Simple: ​​Input -> Filter -> Output​​

解析资料：The @type parameter specifies the type of the parser plugin

​​https://docs.fluentd.org/configuration/parse-section​​

2、fluent将rsyslogd的日志转给ES的操作步骤。

3、Elasticsearch： 一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并平衡数据。 集群中一个节点会被选举为主节点(master),它将临时管理集群级别的一些变更，例如新建或删除索引、增加或移除节点等。主节点不参与文档级别的变更或搜索，这意味着在流量增长的时候，该主节点不会成为集群的瓶颈。 做为用户，我们能够与集群中的任何节点通信，包括主节点。每一个节点都知道文档存在于哪个节点上，它们可以转发请求到相应的节点上。我们访问的节点负责收集各节点返回的数据，最后一起返回给客户端。这一切都由Elasticsearch处理。