elk日志分析搭建使用记录

Posted 煜铭2011

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了elk日志分析搭建使用记录相关的知识,希望对你有一定的参考价值。

 0x00 介绍

1.elk背景介绍

Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 公司。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful Search Engine。目前,Elasticsearch 是一个免费及开放(free and open)的项目。

同时,Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个项目组合在一起,就形成了 ELK 软件栈,他们三个共同形成了一个强大的生态圈。

简单地说,Logstash 负责数据的采集,处理丰富数据,数据转换等。

Kibana 负责数据展示,分析,管理,监督及应用。

Elasticsearch 处于最核心的位置,它可以帮我们对数据进行快速地搜索及分析。

0x01 部署架构

 

0x02 安装部署

请见:elk日志分析搭建使用记录(二)

0x03 配置使用

1.登录地址-账号密码

我们在安装elasticsearch的时候,得到了用户名为elastic的用户,密码是C_4NQ7GMQR1*****

我们使用这个账号密码登录到系统

2.安全功能-用户角色管理

创建用户

我们在业务场景使用的情况下,往往需要创建多个用户,以便多个业务方使用,同时避免elastic的密码丢失导致无法登录系统问题。

账号密码:sec/Sec*****

 

 

创建角色

3.添加数据进行搜索

1.添加数据

简单进行搜索。

3.使用syslog日志搜索

        更多常用的场景是我们通过syslog把日志发送到日志服务器进行检索,所以我们需要另外搭建syslog日志服务器。

        在这里我们把fleet服务所在的机器也配置成syslog日志服务器,远程服务器发送到syslog日志服务器(就是fleet服务器)保存到本地的/var/log/remote目录下,然后是每台客户端的ip_年份_月份_日期的log

        而使用代理策略为:Fleet Server policy 的elastic agent机器进行配置,用它来收集syslog日,如下所示.

 

 故我们这里填写日志路径为:/var/log/remote/10.10.*.*/*

在检索里面输入,日期选择过去1年,并且同时在【选定字段】选择【@message】,如下所示:

data_stream.dataset:system.syslog and log.file.path : "/var/log/remote/10.10.*.*/10.10.*.*_2022-04-19.log"

这里的10.10.*.* 为具体IP地址,这里被打码了而已。

 至此,我们成功检索到远程服务器发送到syslog日志。

3.创建可视化仪表盘

 

4. Elastic 代理策略

Fleet Elastic 代理的集中管理,主要是统一分发策略,收集日志、性能、系统数据使用。 策略可以理解为一类功能的组合,而集成可以理解为一组策略。通过添加集成,进而为 Elastic 代理添加各种功能。

添加集成

 

 

 删除集成

5. 安全

新增安全规则

 

添加威胁情报

这里的api token需要注册登录otx.alienvault.com 来获取,如下所示:

6.其他功能

许可证查看

 

0x04 问题解决

请见:elk日志分析搭建使用记录(四)

0x05 参考文档

请见:elk日志分析搭建使用记录(五)

以上是关于elk日志分析搭建使用记录的主要内容,如果未能解决你的问题,请参考以下文章

elk日志分析搭建使用记录

elk日志分析搭建使用记录

elk日志分析搭建使用记录

elk日志分析搭建使用记录

elk日志分析搭建使用记录

elk日志分析搭建使用记录