ELK日志分析系统（持续更新中）

Posted 2021-09-04 可乐卷儿

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 一、ELK日志分析系统简介
• • 1、日志服务器的优缺点
  • 2、ELK是什么？
  • • 2.1、Logstash管理包含四种工具
    • 2.2、日志处理步骤
• 二、Elasticsearch的基础核心概念
• • 1、接近实时(NRT)
  • 2、集群(cluster)
  • 3、节点(node)

---

一、ELK日志分析系统简介

1、日志服务器的优缺点

• 优点
  • 提高安全性
  • 集中存放日志
• 缺点
  • 对日志的分析困难

2、ELK是什么？

日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成，官方网站: https://www.elastic.co/products

• ES(nosql非关数据库)：存储功能和索引
• Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
  • 通过input功能来收集/采集log
  • filter过滤器：格式化数据
  • output输出：日志输出到es数据库内
• Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

2.1、Logstash管理包含四种工具

• Packetbeat ( 搜集网络流量数据)
• Topbeat(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)
• Filebeat (搜集文件数据)，相较于Logstash是轻量级工具
• Winlogbeat (搜集Windows事件日志数据)

2.2、日志处理步骤

1. Logstash收集AppServer产生的Log,并将log进行集中化管理
2. 将日志格式化(Logstash) 并存放到ElasticSearch集群中
3. 对格式化后的数据进行索引|和存储( Elasticsearch)
4. Kibana则从Es集群中查询数据生成图表，再返回给browsers
   

二、Elasticsearch的基础核心概念

1、接近实时(NRT)

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

2、集群(cluster)

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch
集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时， 配置成集群模式。es 具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一 身份标识(自己的名称) .

3、节点(node)

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。