ELK日志系统设计方案-Filebeat日志收集推送Kafka

Posted 2022-09-14 niaonao

ELK 日志系统的常见解决方案：
通常的产品或项目部署至服务器，运行服务后会生成日志文件。
通过 Filebeat 监控相关文件夹，当有新日志产生，就读取新日志，将日志输送到 Kafka 中。经由 Logstash 消费 Kafka 生产的数据，进行加工过滤后输出到 ElasticSearch 进行日志数据的存储与全文检索。使用 Kibana 对日志数据进行可视化操作。

1. 软件安装

• 官方产品下载
  服务器安装以下 Linux 版本的应用
  Log4j, Filebeat, Zookeeper, Kafka, Logstash, ElasticSearch, Kibana.
• 路径规划
  安装包路径/opt/install
  安装程序路径/opt/elkf
  服务器日志存放路径/opt/elkf/root-log-folder

2. 服务器管理

服务器地址192.168.200.83:22, ElasticSearch 应用需要使用非 root 用户启动,此处创建非 root 管理员.

管理员	密码	root用户	登录权限
root	Southinfo@best1	Y	Y
niaonao	Southinfo@best1	N	Y
admin	Southinfo@best1	N	N

3. 单点日志系统设计

1. 服务器配置 Log4j-server 指定日志存放路径 /opt/elkf/root-log-folder,开放服务端口可接收客户端应用日志. 客户应用端完成 Log4j 配置,可推送日志到服务器.
2. Filebeat 从指定日志文件路径 /opt/elkf/root-log-folder 收集日志信息,可处理后将数据推送给 Kafka;
3. Kafka 数据缓存通过批量操作将日志输出到 Logstash. Kafka 使用 zookeeper 完成协调生产者,消费者与代理. Logstash 消费 Kafka 的数据,进行过滤加工后输出到 ElasticSearch. ElasticSearch 进行日志数据的存储. Kibana 检索 ElasticSearch 存储的日志到可视化页面,可视化页面支持对日志数据更加方便的操作.

参考文章
ELK日志系统设计方案-Filebeat日志收集推送Kafka
ELK日志系统设计方案-Log4j日志直推Kafka
ELK日志系统设计方案-集群扩展
ELK日志系统部署实现
Powered By niaonao