elk日志分析搭建使用记录

Posted 2022-12-03 煜铭2011

 0x00 介绍

1.elk背景介绍

Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 公司。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful Search Engine。目前，Elasticsearch 是一个免费及开放（free and open）的项目。

同时，Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个项目组合在一起，就形成了 ELK 软件栈，他们三个共同形成了一个强大的生态圈。

简单地说，Logstash 负责数据的采集，处理丰富数据，数据转换等。

Kibana 负责数据展示，分析，管理，监督及应用。

Elasticsearch 处于最核心的位置，它可以帮我们对数据进行快速地搜索及分析。

0x01 部署架构

 

0x02 安装部署

请见：elk日志分析搭建使用记录（二）

0x03 配置使用

1.登录地址-账号密码

我们在安装elasticsearch的时候，得到了用户名为elastic的用户，密码是C_4NQ7GMQR1*****

我们使用这个账号密码登录到系统

2.安全功能-用户角色管理

创建用户

我们在业务场景使用的情况下，往往需要创建多个用户，以便多个业务方使用，同时避免elastic的密码丢失导致无法登录系统问题。

账号密码：sec/Sec*****

 

 

创建角色

3.添加数据进行搜索

1.添加数据

简单进行搜索。

3.使用syslog日志搜索

        更多常用的场景是我们通过syslog把日志发送到日志服务器进行检索，所以我们需要另外搭建syslog日志服务器。

        在这里我们把fleet服务所在的机器也配置成syslog日志服务器，远程服务器发送到syslog日志服务器（就是fleet服务器）保存到本地的/var/log/remote目录下，然后是每台客户端的ip_年份_月份_日期的log

        而使用代理策略为：Fleet Server policy 的elastic agent机器进行配置，用它来收集syslog日,如下所示.

 

 故我们这里填写日志路径为：/var/log/remote/10.10.*.*/*

在检索里面输入，日期选择过去1年，并且同时在【选定字段】选择【@message】，如下所示：

data_stream.dataset:system.syslog and log.file.path : "/var/log/remote/10.10.*.*/10.10.*.*_2022-04-19.log"

这里的10.10.*.* 为具体IP地址，这里被打码了而已。

 至此，我们成功检索到远程服务器发送到syslog日志。

3.创建可视化仪表盘

 

4. Elastic 代理策略

Fleet Elastic 代理的集中管理，主要是统一分发策略，收集日志、性能、系统数据使用。 策略可以理解为一类功能的组合，而集成可以理解为一组策略。通过添加集成，进而为 Elastic 代理添加各种功能。

添加集成

 

 

 删除集成

5. 安全

新增安全规则

 

添加威胁情报

这里的api token需要注册登录otx.alienvault.com 来获取，如下所示：

6.其他功能

许可证查看

 

0x04 问题解决

请见：elk日志分析搭建使用记录（四））

0x05 参考文档

请见：elk日志分析搭建使用记录（五）