Beats Elastic中的Auditbeat使用介绍

Posted sanduzxcvbnm

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Beats Elastic中的Auditbeat使用介绍相关的知识,希望对你有一定的参考价值。

Auditbeat使用介绍

Auditbeat是一种轻量级的数据收集器,您可以将其安装在服务器上,以审核系统上用户和进程的活动。 例如,您可以使用Auditbeat从Linux Audit Framework收集和集中审核事件。 您还可以使用Auditbeat来检测对关键文件(如二进制文件和配置文件)的更改,并确定潜在的安全策略冲突。Auditbeat是一种Elastic Beat。 它基于libbeat框架。

为了能够使用Auditbeat,必须安装Elasticsearch及Kibana。

Auditbeat 工作原理

首先我们来了解一下Linux的审计框架:

  • Linux的审计框架提供了对System call及文件变化的可观测性
  • 促进对一些关键系统应用的监控 (pam, openssh, passwd)
  • 分发事件到用户空间的守护程序(daemon)(auditd, journald)

那么在Elastic中的Auditbeat到底是来做什么的呢?Auditbeat直接通过netlink sockets从内核获取事件。它的作用可以分为一下的几个方面:

  • 收集整理消息
  • 组合相关信息
  • 解析
  • 丰富数据(例如host等等)
  • 发送到Elasticsearch

假如有一下的几条信息:

type=SYSCALL msg=audit(1501619655.636:32796540): arch=c000003e syscall=2 success=no exit=-13 a0=7fffdd0a98e2 a1=0 a2=7fffdd0a8210 a3=7fffdd0a7c60 items=1 ppid=6637 pid=6654 auid=700 uid=700 gid=700 euid=700 suid=700 fsuid=700 egid=700 sgid=700 fsgid=700 tty=pts0 ses=15663 comm=”cat” exe=”/bin/cat” key=”open”
 
type=CWD msg=audit(1501619655.636:32796540): cwd=”/home/admin”
 
type=PATH msg=audit(1501619655.636:32796540): item=0 name=”/etc/gshadow” inode=138686 dev=fc:00 mode=0100000 ouid=0 ogid=0 rdev=00:00 nametype=NORMAL

那么解析出来的信息就是:

从上面,我们可以看出来事件发生的时间,结果是失败。导致结果失败的用户名是admin,所发生的操作的使用/bin/cat命令来打开文件/etc/gshadow。

Auditbeat是如何切入呢?它有一下的两种方法:

  • 作为auditd的补充应用
    • auditd 管理审计规则
    • Auditbeat 发送事件到 Elasticsearch
    • 需要内核 3.16 或者更新
      完全替代auditd使用
    • 不用安装auditd软件包
    • Auditbeat 管理审计规则
    • Auditbeat 发送事件到 Elasticsearch

另外,Auditbeat可以实现文件完整性的监控:

  • 实时监控指定文件系统变化
  • 报告文件元数据与哈希
  • 为文件建立、移动、删除、更新和属性修改生成事件
  • 这个模块目前独立于 Linux 审计框架
  • 在Linux、macOS和Windows上均可工作

针对这个,它适用于一下的应用场景:

  • 识别可疑篡改
    • 软件更新之外的对于二进制文件或者共享库的更改
    • 文件权限和属性的非常规更新
  • 根据安全情报信息对照相应文件哈希(病毒文件快速识别)
  • 满足企业对审计/合规的需求

Auditbeat安装

必须注意选择和自己Elasticsearch想匹配的版本。

curl -L -O https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-7.4.2-linux-x86_64.tar.gz
tar xzvf auditbeat-7.4.2-linux-x86_64.tar.gz

安装好Auditbeat后的文件显示为:

$ ls
LICENSE.txt             auditbeat               fields.yml
NOTICE.txt              auditbeat.reference.yml kibana
README.md               auditbeat.yml

请注意上面的一个配置文件autidbeat.ym。这个将是要使用到的配置文件。

如果你是在你自己的机器上安装Auditbeat,并且上面有运行Kibana,那么你也可以在Kibana里找到相应的安装步骤.

其中左边的是一个叫做Infrastructure的应用。点Auditbeat.

Audibeat Demo

在这里,我们先来做使用Auditbeat来做一个练习,让大家感受一下auditbeat是如何工作的。

配置Auditbeat

默认配置文件称为auditbeat.yml。还有一个名为auditbeat.reference.yml的完整示例配置文件,其中显示了所有不推荐使用的选项。

  1. 定义要启用的Auditbeat模块。 Auditbeat使用模块来收集审核信息。 对于每个模块,指定要收集的指标集。

以下示例显示了file_integrity模块,该模块配置为在磁盘上指定路径之一中的文件发生更改时生成事件:

auditbeat.modules:
 
- module: file_integrity
  paths:
  - /bin
  - /usr/bin
  - /sbin
  - /usr/sbin
  - /etc
  - /Users/liuxg/tmp

在上面,我们特意添加了一个自己创建的文件目录/Users/liuxg/tmp。这样Auditbeat就可以用来监测我这个目录里的文件变化。在下面的练习中,我们可以用来展示。

  1. 配置输出。
    Auditbeat支持多种输出,但是通常您将事件直接发送到Elasticsearch或Logstash以进行其他处理。
    要将输出直接发送到Elasticsearch(不使用Logstash),请设置Elasticsearch安装的位置:
output.elasticsearch:
  hosts: ["myEShost:9200"]
  1. 如果您打算使用Auditbeat随附的示例Kibana仪表板,请配置Kibana端点。 如果Kibana与Elasticsearch在同一主机上运行,则可以跳过此步骤。
setup.kibana:
  host: "mykibanahost:5601"

如果Elasticsearch和Kibana受保护,请在运行设置和启动Auditbeat的命令之前在auditbeat.yml配置文件中设置凭据。

output.elasticsearch:
  hosts: ["myEShost:9200"]
  username: "filebeat_internal"
  password: "YOUR_PASSWORD" 
setup.kibana:
  host: "mykibanahost:5601"
  username: "my_kibana_user"  
  password: "YOUR_PASSWORD"

请注意在上面我们使用了假设的用户名及密码。在实际的使用中请根据自己的情况进行适当地修改。

测试Auditbeat

在我们真正地在Kibana使用之前,我们先来测试一下我们的Auditbeat安装是否成功。我们可以在Auditbeat的安装目录进行如下的尝试:
./auditbeat test config -e

$ ./auditbeat test config -e
2019-11-20T10:41:42.920+0800    INFO    instance/beat.go:607    Home path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64] Config path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64] Data path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/data] Logs path: [/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/logs]
2019-11-20T10:41:42.942+0800    INFO    instance/beat.go:615    Beat ID: 594d560c-72a0-4150-833b-36eb84110404
2019-11-20T10:41:42.946+0800    INFO    [beat]  instance/beat.go:903    Beat info   {"system_info": {"beat": {"path": {"config": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64", "data": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/data", "home": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64", "logs": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64/logs"}, "type": "auditbeat", "uuid": "594d560c-72a0-4150-833b-36eb84110404"}}}
2019-11-20T10:41:42.947+0800    INFO    [beat]  instance/beat.go:912    Build info  {"system_info": {"build": {"commit": "15075156388b44390301f070960fd8aeac1c9712", "libbeat": "7.4.2", "time": "2019-10-28T19:43:09.000Z", "version": "7.4.2"}}}
2019-11-20T10:41:42.947+0800    INFO    [beat]  instance/beat.go:915    Go runtime info {"system_info": {"go": {"os":"darwin","arch":"amd64","max_procs":16,"version":"go1.12.9"}}}
2019-11-20T10:41:42.950+0800    INFO    [beat]  instance/beat.go:919    Host info   {"system_info": {"host": {"architecture":"x86_64","boot_time":"2019-11-19T21:59:49.56243+08:00","name":"localhost","ip":["127.0.0.1/8","::1/128","fe80::1/64","fe80::aede:48ff:fe00:1122/64","fe80::14f1:d192:691:db99/64","169.254.101.151/16","fe80::4c5:e058:2e93:f7d4/64","192.168.0.100/24","fe80::c51f:4010:9bb0:5bf6/64","fe80::6b47:ca1b:644:8cbc/64"],"kernel_version":"19.0.0","mac":["ac:de:48:00:11:22","a6:83:e7:69:f5:24","a4:83:e7:69:f5:24","06:83:e7:69:f5:24","ea:12:7d:7a:0d:b7","ea:12:7d:7a:0d:b7","a0:ce:c8:d0:90:be","82:51:61:05:3c:01","82:51:61:05:3c:00","82:51:61:05:3c:05","82:51:61:05:3c:04","82:51:61:05:3c:01"],"os":{"family":"darwin","platform":"darwin","name":"Mac OS X","version":"10.15.1","major":10,"minor":15,"patch":1,"build":"19B88"},"timezone":"CST","timezone_offset_sec":28800,"id":"E51545F1-4BDC-5890-B194-83D23620325A"}}}
2019-11-20T10:41:42.951+0800    INFO    [beat]  instance/beat.go:948    Process info    {"system_info": {"process": {"cwd": "/Users/liuxg/elastic1/auditbeat-7.4.2-darwin-x86_64", "exe": "./auditbeat", "name": "auditbeat", "pid": 5862, "ppid": 562, "start_time": "2019-11-20T10:41:41.898+0800"}}}
2019-11-20T10:41:42.951+0800    INFO    instance/beat.go:292    Setup Beat: auditbeat; Version: 7.4.2
2019-11-20T10:41:42.951+0800    INFO    [index-management]  idxmgmt/std.go:178  Set output.elasticsearch.index to 'auditbeat-7.4.2' as ILM is enabled.
2019-11-20T10:41:42.951+0800    INFO    elasticsearch/client.go:170 Elasticsearch url: http://localhost:9200
2019-11-20T10:41:42.952+0800    INFO    [publisher] pipeline/module.go:97   Beat name: localhost
2019-11-20T10:41:42.953+0800    WARN    [cfgwarn]   host/host.go:167    BETA: The system/host dataset is beta
2019-11-20T10:41:42.994+0800    WARN    [cfgwarn]   package/package.go:170  BETA: The system/package dataset is beta
2019-11-20T10:41:43.015+0800    WARN    [cfgwarn]   process/process.go:131  BETA: The system/process dataset is beta
2019-11-20T10:41:43.036+0800    WARN    [process]   process/process.go:174  Running as non-root user, will likely not report all processes.
Config OK

上面的显示结果我们的配置是成功的。

装载index template到Elasticsearch中

建议的Auditbeat索引模板文件由Auditbeat软件包安装。 如果您在auditbeat.yml配置文件中接受默认配置,则Auditbeat在成功连接到Elasticsearch之后会自动加载模板。 如果模板已经存在,除非您配置Auditbeat这样做,否则它不会被覆盖。

默认情况下,如果启用了Elasticsearch输出,则Auditbeat会自动加载建议的模板文件fields.yml。 如果要使用默认索引模板,则不需要其他配置。 否则,您可以在auditbeat.yml中更改默认值。

setup.template.name: "your_template_name"
setup.template.fields: "path/to/fields.yml"

使用Elastic所提供的默认template。

设置Kibana dashboard

Auditbeat随附了示例Kibana仪表板,可视化文件以及用于在Kibana中可视化Auditbeat数据的搜索。 在使用仪表盘之前,您需要创建索引模式,auditbeat- *,并将仪表盘加载到Kibana中。为了做这个,我们可以采用两种方法:

  • 直接在auditbeat.yml文件中加入如下的句子
    setup.dashboards.enabled: true

  • 使用如下的命令(在audibeat的安装目录中,请确信Kibana在运行后,在打入如下的命令):
    ./auditbeat setup --dashboards
$ ./auditbeat setup --dashboards
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards

启动Audibeat

终于到了我们最后的一步了。通过为您的平台发出适当的命令来运行Auditbeat:

chown root auditbeat.yml 
./auditbeat -e

在这里特别注意的是:要监视系统文件,您将以root用户身份运行Auditbeat,因此您需要更改配置文件的所有权,或者在指定--strict.perms = false的情况下运行Auditbeat

在Kabana中查看数据

数据的名字是以auditbeat为开始的索引。如果由于一些原因你没有看到这些数据,你可以点击右上角的时间设置来查找更大范围里的数据。通常Kibana在默认的情况下显示最近15分钟的数据。

由于在之前我们已经设置了Dashboard,我们现在直接点击Dashboard来进行展示:

我们可以看到有许多以Auditbeat为开始的Dashboard列出来了。我们来选择其中的一个File Integrity来做展示:

还记得我之前在auditbeat.yml,我加入了如下的一句 - /Users/liuxg/tmp:

- module: file_integrity
  paths:
  - /bin
  - /usr/bin
  - /usr/local/bin
  - /sbin
  - /usr/sbin
  - /usr/local/sbin
  - /Users/liuxg/tmp

下面我们在目录/Users/liuxg/tmp里创建一个文件,然后,我们再看看在Kibana中有什么变化,再次查看一下Kibana可以看到许多的关于文件a的变化信息。
同样地,也可以选择其它的关于auditbeat的dashboard.

以上是关于Beats Elastic中的Auditbeat使用介绍的主要内容,如果未能解决你的问题,请参考以下文章

elastic stack中的Beats是什么?

Beats:将 Unix 域套接字中的数据索引到 Elastic Stack

Beats:将 Unix 域套接字中的数据索引到 Elastic Stack

浅尝 Elastic Stack Logstash + Beats + Kafka

浅尝 Elastic Stack Logstash + Beats + Kafka

elastic stack 基础组件beats详解