ELK日志分析基础

Posted 2020-12-16

ELK 基础

简介

ELK是一个应用套件，由Elasticsearch，Logstash和Kibana组成

ElasticSearch

ElasticSearch是一个实时的分布式搜索和分析引擎，用于支持全文搜索，结构化搜索以及分析，采用java语言编写

• ElasticSearch主要特点如下
  • 实时搜索，实时分析
  • 分布式架构，实时文件存储，将每一个字段都编入索引
  • 高可用性，易拓展，支持集群，分片和复制
  • 接口友好，支持json

架构如下：

由master和slave组成

Logstash

Logstash是一个轻量级的开源日志收集处理框架，可以方便的把分散的，多样化的日志搜集起来，并进行自定义过滤分析和处理，然后传输到指定的位置。

• Logstash特点如下

  • 几乎可以访问任何数据
  • 可以和多种外部应用整合
  • 支持动态弹性扩展

• Logstash功能：

  • input：数据收集
  • filter： 数据加工（例如：过滤，改写）
  • output：数据输出

  内部逻辑如下：

  

  • 每个部分的含义如下：
  • Shiper： 主要收集日志数据，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，然后经过加工，过滤，输出到Broker
  • Broker：相当于日志的HUB，用来连接多个Shipper和多个Indexer（redis可以作为日志缓冲的broker）
  • Indexer：从Broker读取文本，经过加工，过滤输出到指定的介质（可以是文件，网络，ES）

  kibana

  kibana是一个开源的数据分析可视化平台，使用kibana对Logstash和Elasticsearch提供的日志数据进项高效的搜索，可视化汇总以及多维度分析

  ELK工作流程

  

ELK常见架构

最简单的ELK架构

典型ELK架构