基于大数据审计的信息安全日志分析法

Posted 2023-04-24

参考技术A

　　噪声数据随着经济和信息技术的不断发展，许多企业开始引入了ERP等系统，这些系统使得企业的众多活动数据可以实时记录，形成了大量有关企业经营管理的数据仓库。从这些海量数据中获取有用的审计数据是目前计算机审计的一个应用。接下来我为你带来基于大数据审计的信息安全日志分析法，希望对你有帮助。

　　 大数据信息安全日志审计分析方法

　　 1．海量数据采集。

　　大数据采集过程的主要特点和挑战是并发数高，因此采集数据量较大时，分析平台的接收性能也将面临较大挑战。大数据审计平台可采用大数据收集技术对各种类型的数据进行统一采集，使用一定的压缩及加密算法，在保证用户数据隐私性及完整性的前提下，可以进行带宽控制。

　　 2．数据预处理。

　　在大数据环境下对采集到的海量数据进行有效分析，需要对各种数据进行分类，并按照一定的标准进行归一化，且对数据进行一些简单的清洗和预处理工作。对于海量数据的预处理，大数据审计平台采用新的技术架构，使用基于大数据集群的分布式计算框架，同时结合基于大数据集群的复杂事件处理流程作为实时规则分析引擎，从而能够高效并行地运行多种规则，并能够实时检测异常事件。

　　 3．统计及分析。

　　按照数据分析的实时性，分为实时数据分析和离线数据分析。大数据平台在数据预处理时使用的分布式计算框架Storm就非常适合对海量数据进行实时的统计计算，并能够快速反馈统计结果。Storm框架利用严格且高效的事件处理流程保证运算时数据的准确性，并提供多种实时统计接口以使用。

　　 4．数据挖掘。

　　数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识，所以它所得到的信息具有未知、有效、实用三个特征。与传统统计及分析过程不同的是，大数据环境下的数据挖掘一般没有预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，并进一步实现一些高级别数据分析的需求。

　　 大数据分析信息安全日志的解决方案

　　统一日志审计与安全大数据分析平台能够实时不间断地将用户网络中来自不同厂商的安全设备、网络设备、主机、操作系统、数据库系统、用户业务系统的日志和警报等信息汇集到管理中心，实现全网综合安全审计；同时借助大数据分析和挖掘技术，通过各种模型场景发现各种网络行为、用户异常访问和操作行为。

　　 1．系统平台架构。

　　以国内某大数据安全分析系统为例，其架构包括大数据采集平台、未知威胁感知系统、分布式实时计算系统(Storm)、复杂事件处理引擎(Esper)、Hadoop平台、分布式文件系统(HDFS)、分布式列数据库(Hbase)、分布式并行计算框架(Map／Reduce、Spark)、数据仓库(Hive)、分布式全文搜索引擎(ElasticSearch)、科学计算系统(Euler)。这些技术能够解决用户对海量事件的采集、处理、分析、挖掘和存储的需求。

　　如图1所示，系统能够实时地对采集到的不同类型的信息进行归一化和实时关联分析，通过统一的控制台界面进行实时、可视化的呈现，协助安全管理人员迅速准确地识别安全事件，提高工作效率。

　　 2．实现功能。

　　系统能够实现的功能包括：审计范围覆盖网络环境中的全部网络设备、安全设备、服务器、数据库、中间件、应用系统，覆盖200多种设备和应用中的上万类日志，快速支持用户业务系统日志审计；系统收集企业和组织中的所有安全日志和告警信息，通过归一化和智能日志关联分析引擎，协助用户准确、快速地识别安全事故；通过系统的\'安全事件并及时做出安全响应操作，为用户的网络环境安全提供保障；通过已经审计到的各种审计对象日志，重建一段时间内可疑的事件序列，分析路径，帮助安全分析人员快速发现源；整个Hadoop的体系结构主要通过分布式文件系统(HDFS)来实现对分布式存储的底层支持。

　　 3．应用场景。

　　上述系统可解决传统日志审计无法实现的日志关联分析和智能定位功能。如在企业的网络系统中，大范围分布的网络设备、安全设备、服务器等实时产生的日志量非常大，要从其中提取想要的信息非常困难，而要从设备之间的关联来判断设备故障也将是一大难点。例如，某企业定位某设备与周围直连设备的日志消息相关联起来判断该设备是否存在异常或故障，如对于其中一台核心交换机SW1，与之直连的所有设备如果相继报接口down的日志，则可定位该设备SWl为故障设备，此时应及时做出响应。而传统数据难以通过周围设备的关联告警来定位该故障，大数据审计平台则是最好的解决方法。

　　大数据分析方法可以利用实体关联分析、地理空间分析和数据统计分析等技术来分析实体之间的关系，并利用相关的结构化和非结构化的信息来检测非法活动。对于集中存储起来的海量信息，可以让审计人员借助历史分析工具对日志进行深度挖掘、调查取证、证据保全。

云小课｜基于华为云WAF的日志运维分析，构筑设备安全的城墙

阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。

摘要：云日志服务用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。

本文分享自华为云社区《【云小课】应用平台第33课 基于华为云WAF（Web应用防火墙）的日志运维分析，为你构筑设备安全的铜墙铁壁》，作者：阅识风云。

WAF（Web应用防火墙）通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击，所有请求流量经过WAF时，WAF会记录攻击和访问的日志，可实时决策分析、对设备进行运维管理以及业务趋势分析。

前提条件：

• 购买并使用华为云WAF实例。

限制条件：

• 仅云模式支持全量日志功能。
• 支持全量日志功能的区域为：华北-北京一、华北-北京四、华东-上海一、华东-上海二、中国-香港、亚太-曼谷、亚太-莫斯科、华北-乌兰察布一 、华南-广州。

设置步骤：

1. 在WAF添加防护网站。
   1. 登录管理控制台。
   2. 在控制台左上角单击按钮，选择区域和项目。
   3. 在系统首页左上角单击按钮，选择“安全与合规 > Web应用防火墙 WAF”，进入Web应用防火墙管理控制台。
   4. 根据添加防护域名添加需要防护的网站，使网站流量切入WAF。
2. 开启全量日志功能，将WAF日志记录到LTS，详细操作请参见开启全量日志。
   1. 在Web应用防火墙管理控制台，单击“防护事件”，选择“全量日志”页签。开启全量日志，选择已创建的日志组与日志流。如未创建日志组与日志流，请先创建日志组和创建日志流。
   2. 单击“确定”，全量日志配置成功。

图1 配置全量日志

3.在日志流详情页面，单击左侧导航栏“配置中心”，选择“结构化配置”，进入日志结构化配置页面，选择“JSON”提取方式，根据业务需求选择日志，配置相关参数，具体操作请参见日志结构化。

图2配置JSON格式日志

4.在日志流详情页面，单击“可视化”页签，进行SQL查询与分析，如需要多样化呈现查询结果，请参考日志结构化进行配置。

• 统计1周内攻击次数，具体SQL查询分析语句如下所示：

select count(*) as attack_times

图3 攻击次数查询结果

• 统计1天不同攻击类型的分布，具体SQL查询分析语句如下所示：

select attack,count(*) as times group by attack

查询结构有五种呈现形式依上而下分别为表格、柱状图、折线图、饼图、数字，如下图为饼图结果。

图4不同攻击类型的分布查询结果

点击“了解更多”，华为云云日志服务LTS等着您！

点击关注，第一时间了解华为云新鲜技术~