Splunk使用记录-安全日志聚合分析

Posted 2022-12-10 煜铭2011

0x0 背景

Splunk是一个功能强大的机器数据分析平台，包括机器数据的收集、索引、搜索、监控、可视化和告警等。Splunk支持从任何IT设备和应用（服务器、路由交换、应用程序、数据库等）收集日志，支持对日志进行高效搜索、索引和可视化。可应用于：IT运营、安全合规、商业分析等。

数据获取：Splunk支持各种格式(如XML、JSON)和非结构化机器数据的获取。

数据索引：Splunk会自动索引从各方获取的数据，以便在各种条件下进行搜索

数据搜索：Splunk中的搜索包括在仪表板上创建指标或索引的模式。

Dashboards：以透视表、图表、报告等形式展示搜索结果

告警：用于在分析数据中发现的某些异常活动时触发邮件或其他方式的告警推送。

Splunk 的三大组件：

Splunk 转发器：用于收集日志的组件，将日志数据转发给Splunk索引器进行处理和存储。

Splunk 索引器：用来索引和存储转发器中的数据，将传入的数据转换为事件，并将其存储在索引中，以便高效地执行搜索操作。

Splunk 搜索头：用于与Splunk交互的组件。为用户提供了一个图形用户界面来执行各种操作。用户可以通过输入搜索词来搜索和查询索引器中存储的数据。

此处我们将splunk 用于网络安全的SIEM/SOC、日志安全审计系统等。

0x01、添加数据

(1)攻击日志

此处我们采用已搭建的蜜罐系统的攻击日志（上钩列表）为数据源，导出攻击日志数据。

  备注：普遍的形式是：安全设备通过syslog把日志发送到服务器。如下为举例。

 

(2)导入数据

此处，我们通过【上载来自我的计算机的文件】的方式导入数据，如下所示：

 

 

3.监听syslog日志

0x02、检索数据

 (1)对日志进行检索

• 上传日志文件检索：

多个相同的日志使用同一个报表或者仪表板：因为如果后续需要上传类似的日志，建议使用正则进行匹配，这样子就不用重复编写报表了，例如：source="HFish_*.csv" sourcetype="csv"

检索蜜罐攻击日志，关键词：source="HFish_20220402.csv" sourcetype="csv"

• syslog日志检索：

source="D:\\\\syslog\\\\syslog-honeypot-*.txt"

(2)对日志进行提取字段

攻击日志的内容比较原始，所以需要进行字段提取，拉到页面底栏，进行【提取新字段】如下所示：

 

 

 

由于我们的攻击日志是采用逗号（,）进行分隔每个字段的，所以采用【分隔符】进行提取字段。

 (3)查看已提取的字段

查看我们新建的字段，在【设置】-【字段】-【字段提取】

 在【应用】进行筛选，然后进行搜索：

可以看到字段

（4）删除索引

如果我们不再需要使用该数据来源，我们可以删除索引。

 

0x03.可视化报表

(1)新建日志报表

保存成功后，我们可以查看仪表板，如下所示：

 
(2)组合不同的报表

添加新的面板后，可能需要添加标题，最后通过拖拉仪表板的方式，组合成最终的报表。

(3)综合报表设置

如果我们需要再次查看我们的报表，可以进行如下操作

将我们刚刚新建的仪表板设置为主页的仪表板，如下所示：

 

（4）数据模型

由于以上展示的是一次性搜索的报表，故如果多次需要进行一模一样的数据搜索展示，自动更新到仪表板或者报表当中，这时候，我们可以选择修改数据集，如下所示：

 编辑数据集，可以实现类似的报表使用同一个视图，下次直接上传数据，报表会自动加载上传的数据到报表里面。

使用正则匹配多个数据来源。

此外，也可以通过修改数据模型的方式，进行修改达到多个相同的日志使用同一个报表或者仪表板的目标，如下所示：

0x04.参考

1.官方帮助中文文档

https://docs.splunk.com/Documentation/Splunk/latest/Translated/SimplifiedChinesemanuals

备注：splunk 提示：Requires license feature='Auth' 错误提示说明：由于我们采用的splunk的免费版本，所以有些功能是不能使用的，所以会提示：同时日志索引限制在500M，splunk平台只能创建管理员账号，无法创建其他账号。

2.Windows搭建syslog日志服务器

官方网站：https://www.kiwisyslog.com/kiwi-syslog-server

备注：必须设置来源IP，才可以接收日志；其他信息请阅读帮助文档。

3.linux搭建syslog服务器

Linux搭建syslog服务器相对容易，文档也比较多，毕竟Linux 往往自带syslog服务器。
参考文档：https://www.freebuf.com/articles/es/246659.html

4.非UTF-8格式导入到splunk后乱码解决办法

在某些情况下，我们从安全设备导出安全日志为csv格式，这种格式可能是以编码集-中文GB 2312 编码的，这种情况下直接导入splunk，会导致splunk无法识别其中的内容。所以需要进行格式转换。

参考方法：

方法1：格式转换

使用notepad ++等工具直接打开，选择【编码】 -【转为 UTF-8编码】，即可。

或者使用记事本等工具打开该csv文件，选择另存为，编码方式改成UTF-8，即可。

方法2：excel保存为utf-8

https://jingyan.baidu.com/article/6fb756ecc14e4e651958fb52.html