ELK 日志采集框架：架构设计

Posted 2021-05-16 AusKa_T

1 服务架构概述

通过前文中对Kafka的安装介绍以及使用，本文将介绍Kakfa参与的一套 《海量日志收集框架》，从零开始实现一个高可用的单机版的日期采集分析框架。

架构使用技术： log4j2 + filebeat + kafka + logstash + elasticsearch + kibana

2 服务架构设计

架构图如下：

• 日志输出 – log4j2
• 日志收集 – filebeat
• 日志过滤 – logstash
• 日志持久化 – elasticsearch
• 日志可视化 – kibana

3 服务资源信息

服务器IP	hostname	节点说明	版本
192.168.51.4	centos-4	filebeat	7.4.2
192.168.51.4	centos-4	kafka	2.12-2.1.0
192.168.51.4	centos-4	logstash	7.4.2
192.168.51.4	centos-4	elasticsearch	7.4.2
192.168.51.4	centos-4	kibana	7.4.2

4 官方文档手册

filebeat官网地址：https://www.elastic.co/cn/beats/filebeat

kafka官网地址：http://kafka.apache.org/

logstash官网地址：[https://www.elastic.co/cn/logstash](http://www.rabbitmq.com/man/rabbitmqctl.1.man.html)

elasticsearch官网地址：https://www.elastic.co/cn/elasticsearch/

kibana官网地址：https://www.elastic.co/cn/kibana

5 相关信息

• 第①篇：ELK 日志采集框架（一）：架构设计

• 第②篇：ELK 日志采集框架（二）：日志模块开发

• 第③篇：ELK 日志采集框架（三）：Filebeat安装与配置

• 第④篇：ELK 日志采集框架（四）：Kafka安装与配置

• 第⑤篇：ELK 日志采集框架（五）：Logstash安装与配置

• 第⑥篇：ELK 日志采集框架（六）：ElasticSearch安装与配置

• 第⑦篇：ELK 日志采集框架（七）：Kibana安装与配置

• 第⑧篇：ELK 日志采集框架（八）：功能测试与告警集成

博文不易，辛苦各位猿友点个关注和赞，感谢