ELK分布式日志系统架构
Posted 白-胖-子
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ELK分布式日志系统架构相关的知识，希望对你有一定的参考价值。
filebeat=>kafka/redis=>logstash=>Elastic Search=>kibana <=>nginx/haproxy<=日志查询用户
- Filebeat 收集日志，发送到中间件
- Kafka/Redis 消息列队暂存数据，供logstash拉取
- Logstash 拉取并处理后推送到ElasticSearch
- ElasticSearch 接收日志并存储分类
- Kibana 提供查询和图形化显示日志数据
- filebeat收集多种日志的时候不好进行区分 - 添加logstash层进行日志数据初始化处理
- 在logstash上对filebeat收集到的数据进行处理分类后，
- 再写到kafka的不同topic，
- 再来一层logstash从kafka拉取数据送到elasticSearch上
ELK集群终极形态闪亮登场
以上是关于ELK分布式日志系统架构的主要内容，如果未能解决你的问题，请参考以下文章