ELK日志系统设计方案-Filebeat日志收集推送Kafka

Posted niaonao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ELK日志系统设计方案-Filebeat日志收集推送Kafka相关的知识,希望对你有一定的参考价值。

ELK 日志系统的常见解决方案:
通常的产品或项目部署至服务器,运行服务后会生成日志文件。
通过 Filebeat 监控相关文件夹,当有新日志产生,就读取新日志,将日志输送到 Kafka 中。经由 Logstash 消费 Kafka 生产的数据,进行加工过滤后输出到 ElasticSearch 进行日志数据的存储与全文检索。使用 Kibana 对日志数据进行可视化操作。

1. 软件安装

  • 官方产品下载
    服务器安装以下 Linux 版本的应用
    Log4j, Filebeat, Zookeeper, Kafka, Logstash, ElasticSearch, Kibana.
  • 路径规划
    安装包路径/opt/install
    安装程序路径/opt/elkf
    服务器日志存放路径/opt/elkf/root-log-folder

2. 服务器管理

服务器地址192.168.200.83:22, ElasticSearch 应用需要使用非 root 用户启动,此处创建非 root 管理员.

管理员密码root用户登录权限
rootSouthinfo@best1YY
niaonaoSouthinfo@best1NY
adminSouthinfo@best1NN

3. 单点日志系统设计

  1. 服务器配置 Log4j-server 指定日志存放路径 /opt/elkf/root-log-folder,开放服务端口可接收客户端应用日志. 客户应用端完成 Log4j 配置,可推送日志到服务器.
  2. Filebeat 从指定日志文件路径 /opt/elkf/root-log-folder 收集日志信息,可处理后将数据推送给 Kafka;
  3. Kafka 数据缓存通过批量操作将日志输出到 Logstash. Kafka 使用 zookeeper 完成协调生产者,消费者与代理. Logstash 消费 Kafka 的数据,进行过滤加工后输出到 ElasticSearch. ElasticSearch 进行日志数据的存储. Kibana 检索 ElasticSearch 存储的日志到可视化页面,可视化页面支持对日志数据更加方便的操作.

参考文章
ELK日志系统设计方案-Filebeat日志收集推送Kafka
ELK日志系统设计方案-Log4j日志直推Kafka
ELK日志系统设计方案-集群扩展
ELK日志系统部署实现
Powered By niaonao

以上是关于ELK日志系统设计方案-Filebeat日志收集推送Kafka的主要内容,如果未能解决你的问题,请参考以下文章

ELK日志系统设计方案-Filebeat日志收集推送Kafka

ELK日志系统设计方案-Filebeat日志收集推送Kafka

日志解决方案filebeat+redis+elk

日志解决方案filebeat+redis+elk

Kafka+Zookeeper+Filebeat+ELK 搭建日志收集系统

部署ELK+Kafka+Filebeat日志收集分析系统