suricata 程序架构

Posted 2023-05-04

参考技术A Suricata是一款高性能网络入侵检测防御引擎。该引擎基于多线程，充分利用多核优势。它支持多种协议，如：ip4、ipv6、tcp、udp、http、smtp、pop3、imap、ftp等。可动态加载预设规则，支持多种文件格式统计数据输出，如pcap、json、unified2等，非常便于与Barnyard2等工具集成。

1.运行模式(runmode)

Suricata有多种运行模式，这些模式与抓包驱动和IDS/IPS选择相关联。抓包驱动如：pcap, pcap file, nfqueue,ipfw, dpdk或者一个特有的抓包驱动等。Suricata在启动时只能选择某个运行模式。如-i选项表示pcap， -r表示pcapfile，-q表示nfqueue等。

每一种运行模式都会初始化一些threads,queues等。模式的具体任务是由线程模块来完成。根据线程和线程模块的组织方式的不同，运行模式又细分为"autofp", "single","wokers".

从上面的流程图可看出，“autofp”模式属于最高效的模式，但也是最复杂的模式。"worker“适中。

2.packet流水线

抓包模块收集packets并进行简单封装，再将其传递Decode模块，Decode模块根据packet的链路类型，解码出对应上层协议(IP,ICMP,TCP,UDP等)，处理后的结果将被继续传递给下一个处理模块。

3.线程模块

线程模块是对packet处理任务的抽象。线程模块大概有以下几种：

        1.Receive模块：收集网络数据包，封装成Packet对象后将其传递给Decode线程模块

        2.Decode模块：对Packet按协议4层模型(数据链路层、网络层、传输层、应用层)进行解码，获取协议和负荷信息，解码完成后将Packet传递给FlowWorker线程模块。该模块主要是进行packet解码，不处理应用层。应用层由专门的应用层解码模块处理

        3.FlowWorker模块：对packets进行分配flow，Tcp会话管理，TCP重组，应用层数据解析处理，Detect规则检测

        4.Verdict模块：根据Detect模块检测的结果，对drop标记的包需要做丢弃处理

        5.RespondReject模块：根据detect检测后的结果，对于reject的包需要向双端发送reset包

        6.logs模块：将处理结果记录在日志中。

4.线程模块间的数据传递

同线程内的模块之间主要是以参数的形式进行数据传递，不同线程之间以共享队列的方式进行数据传递。

每个线程由ThreaVars结构体来抽象，ThreadVars对象指定线程输入数据队列inq和输出数据队列outq。

这些队列在多个线程之间进行共享，一个线程的输出队列可能是另一个线程的输入队列。

绿色线条表示数据的走向。从输入队列获取数据包packet，经过slot函数（模块函数）的处理后，再将加工后的packet放到输出队列中。

在autofp模式下数据包的传递路径如下：

蓝色线条表示packet的传递路径。

5.autofp模式研究

5.1 RX thread

从上面"autofp"模式中可以看出RX thread所处的位置和包含的功能模块。它主要用于收集packets并对其进行解码，将处理后的packets放到pickup queue中，以供下个模块使用.

RX thread的作用体现为线程函数-TmThreadsSlotPktAcqLoop，主要执行的任务为:

        1.给线程设置一个有意义的名称；

        2.将线程绑定到指定CPU核心；

        3.创建Packet对象池，用于快速存放网络数据包数据；

        4.初始化与该线程关联的线程模块；

        5.调用数据包收集模块，启动数据包收集，依次调用各模块处理packet，然后将packet放到输出队列中；

        6.如果接收到退出信号，则中止数据包收集，销毁Packet对象池，调用线程模块的退出清理函数；

        7.退出线程的执行。

5.2 W thread

从上面"autofp"模式中可以看出W thread所处的位置和包含的功能模块。它主要由FlowWorker模块和一些log模块组成， 主要完成数据检测和特定格式特定数据的日志输出。

w thread的作用体现为线程函数-TmThreadsSlotVar，主要执行的任务为:

        1.给线程设置一个有意义的名称；

        2.将线程绑定到指定CPU核心；

        3.创建空Packet对象池；

        4.初始化与该线程关联的线程模块；

        5.从输入队列中获取packet，传递给线程模块依次处理后，放到输出队列中；

        6.如果接收到退出信号，则中止数据包收集，销毁Packet对象池，调用线程模块的退出清理函数；

        7.退出线程的执行。

suricata 原文记录

如何在 Linux 系统上安装 Suricata 入侵检测系统

编译自：http://xmodulo.com/install-suricata-intrusion-detection-system-linux.html作者： Dan Nanni
原创：LCTT https://linux.cn/article-6985-1.html译者： Ping Yang
本文地址：https://linux.cn/article-6985-1.html

2016-02-07 10:10    评论: 1 收藏: 5    

 

 

 

本文导航

• -在 Linux 上安装 Suricata IDS07%
  • -在 Debian, Ubuntu 或者 Linux Mint 操作系统上安装依赖包08%
  • -在 CentOS, Fedora 或者 RHEL 操作系统上安装依赖包11%
• -首次配置 Suricata IDS32%
• -使用 Suricata 进行入侵监控58%
• -总结90%

 

 

随着安全威胁的不断发生，入侵检测系统（IDS）在如今的数据中心环境中显得尤为必要。然而，随着越来越多的服务器将他们的网卡升级到10GB/40GB以太网，对如此线路上的硬件进行计算密集型的入侵检测越来越困难。其中一种提升入侵检测系统性能的途径是多线程入侵检测系统，它将 CPU 密集型的深度包检测工作并行的分配给多个并发任务来完成。这样的并行检测可以充分利用多核硬件的优势来轻松提升入侵检测系统的吞吐量。在这方面有两个知名的开源项目，分别是 Suricata 和 Bro。

这个教程里，我会向大家演示如何在 Linux 服务器上安装和配置 Suricata 入侵检测系统。

在 Linux 上安装 Suricata IDS

让我们从源文件来构建 Suricata，但在此之前，需要按如下所示先安装几个依赖包。

在 Debian, Ubuntu 或者 Linux Mint 操作系统上安装依赖包

1. $ sudo apt-get install wget build-essential libpcre3-dev libpcre3-dbg automake autoconf libtool libpcap-dev libnet1-dev libyaml-dev zlib1g-dev libcap-ng-dev libjansson-dev

在 CentOS, Fedora 或者 RHEL 操作系统上安装依赖包

1. $ sudo yum install wget libpcap-devel libnet-devel pcre-devel gcc-c++ automake autoconf libtool make libyaml-devel zlib-devel file-devel jansson-devel nss-devel

一旦将所有依赖包安装完毕，我们就可以继续安装 Suricata 了。

首先从 http://suricata-ids.org/download/ 下载 Suricata 源代码，然后构建它。撰写这篇文章的时候，其最新版本号为 2.0.8 。

1. $ wget http://www.openinfosecfoundation.org/download/suricata-2.0.8.tar.gz
2. $ tar -xvf suricata-2.0.8.tar.gz
3. $ cd suricata-2.0.8
4. $ ./configure --sysconfdir=/etc --localstatedir=/var

以下是配置信息的样例。

1. Suricata Configuration:
2. AF_PACKET support: yes
3. PF_RING support: no
4. NFQueue support: no
5. NFLOG support: no
6. IPFW support: no
7. DAG enabled: no
8. Napatech enabled: no
9. Unix socket enabled: yes
10. Detection enabled: yes
12. libnss support: yes
13. libnspr support: yes
14. libjansson support: yes
15. Prelude support: no
16. PCRE jit: yes
17. LUA support: no
18. libluajit: no
19. libgeoip: no
20. Non-bundled htp: no
21. Old barnyard2 support: no
22. CUDA enabled: no

现在可以编译、安装了。

1. $ make
2. $ sudo make install

Suricata 源代码带有默认的配置文件。按照如下方法安装这些默认配置文件即可。

1. $ sudo make install-conf

正如你所料，如果没有IDS规则集的话，Suricata 什么用也没有。幸好 Makefile 为我们提供了 IDS 规则集的安装选项。安装方法如下。

1. $ sudo make install-rules

以上的规则安装命令会从 EmergingThreats.net 上下载可用的社区规则集快照，并且将其存储在 /etc/suricata/rules 目录下。

首次配置 Suricata IDS

现在到了配置 Suricata 的时候了。配置文件的位置是 /etc/suricata/suricata.yaml。参照以下命令，用文本编辑器打开这个文件。

1. $ sudo vi /etc/suricata/suricata.yaml

文件中有一些运行所需的基本配置。

为default-log-dir关键字指定 Suricata 日志文件所在的位置。

1. default-log-dir: /var/log/suricata/

在vars部分下方，你会发现几项对 Suricata 来说很重要变量。HOME_NET变量需要指定 Suricata 检查的网络。被分配给 EXTERNAL_NET 变量的 !$HOME_NET 代表除本地网络之外的其他网络。XXX_PORTS变量用来辨别不同服务所用到的端口号。需要注意的是无论使用什么端口，Suricata 都可以自动检测 HTTP 流量。所以是不是正确指定端口就显得没那么重要了。

1. vars:
2. HOME_NET: "[192.168.122.0/24]"
3. EXTERNAL_NET: "!$HOME_NET"
4. HTTP_PORTS: "80"
5. SHELLCODE_PORTS: "!80"
6. SSH_PORTS: 22

host-os-policy 部分用于防御利用操作系统网络栈的自身行为来逃避检测的一些知名攻击手段（例如：TCP reassembly）。作为对策，通过针对目标操作系统而对检测引擎算法进行微调，现代 IDC 提供了“基于目标”的检测手段。因此，如果你知道某台主机运行了什么操作系统的话，将这个信息提供给 Suricata 就可以大幅提高检测的成功率。这就是 host-os-policy 存在的意义。本例中，默认的 IDC 策略是 Linux 系统。如果针对某个 IP 地址没有指定操作系统信息，Suricata 会默认应用基于 Linux 系统的检测策略。如下，当捕获到对 192.168.122.0/28 和 192.168.122.155通讯时，Suricata 就会应用基于 Windows 系统的检测策略。

1. host-os-policy:
2. # These are Windows machines.
3. windows: [192.168.122.0/28, 192.168.122.155]
4. bsd: []
5. bsd-right: []
6. old-linux: []
7. # Make the default policy Linux.
8. linux: [0.0.0.0/0]
9. old-solaris: []
10. solaris: ["::1"]
11. hpux10: []
12. hpux11: []
13. irix: []
14. macos: []
15. vista: []
16. windows2k3: []

在 threading 部分下，你可以为不同的 Suricata 线程指定 CPU 关联。默认状态下，CPU 关联 是被禁止使用的 (set-cpu-affinity: no)，这意味着 Suricata 会分配其线程到所有可用的 CPU 核心上。Suricata 会默认为每一个 CPU 核心创建一个检测线程。你可以通过指定 detect-thread-ratio: N 来调整此行为。此处会创建 N*M 个检测线程，M 代表 CPU 核心总数。

1. threading:
2. set-cpu-affinity: no
3. detect-thread-ratio: 1.5

通过以上对线程的设置，Suricata 会创建 1.5*M 个检测线程，M 是系统的 CPU 核心总数。

如果你想对 Suricata 配置有更多的了解，可以去翻阅默认配置文件。里边配有有大量的注释以供你清晰理解。

使用 Suricata 进行入侵监控

现在是时候让 Suricata 跑起来了，但在这之前还有一个步骤需要去完成。

当你使用 pcap 捕获模式的时候，强烈建议关闭 Suricata 监听网卡上的任何的包卸载（例如 LRO/GRO）功能。这些功能会干扰包的实时捕获行为。

按照以下方法关闭 eth0 接口的 LRO/GRO 功能。

1. $ sudo ethtool -K eth0 gro off lro off

这里要注意，在使用某些网卡的情况下，你会看到如下警告信息。忽略它们就行了，这些信息只不过告诉你你的网卡不支持 LRO 功能而已。

1. Cannot change large-receive-offload

Suricata 支持许多运行模式。运行模式决定着 IDC 会使用何种线程。以下命令可以查看所有 可用的运行模式。

1. $ sudo /usr/local/bin/suricata --list-runmodes

Suricata 使用的默认运行模式是 autofp（auto flow pinned load balancing自动流绑定负载均衡 的缩写）。这个模式下，来自某一个流的包会被分配到一个单独的检测线程中。这些流会根据未被处理的包的最低数量来分配相应的线程。

最后，让我们将 Suricata 运行起来，看看它表现如何。

1. $ sudo /usr/local/bin/suricata -c /etc/suricata/suricata.yaml -i eth0 --init-errors-fatal

本例中，我们在一个8核心系统中监控 eth0 网络接口。如上所示，Suricata 创建了13个包处理线程和3个管理线程。包处理线程中包括一个 PCAP 包捕获线程，12个检测线程(由8*1.5得出)。这表示 IDS 内的1个包捕获线程均衡负载到12个检测线程中。管理线程包括1个流管理和2个计数/统计相关线程。

以下是一个关于Suricata处理的线程截图(由 htop 绘制)。

Suricata 检测日志存储在 /var/log/suricata 目录下。

1. $ tail -f /var/log/suricata/fast.log

---

1. 04/01/2015-15:47:12.559075 [**] [1:2200074:1] SURICATA TCPv4 invalid checksum [**] [Classification: (null)] [Priority: 3] {TCP} 172.16.253.158:22 -> 172.16.253.1:46997
2. 04/01/2015-15:49:06.565901 [**] [1:2200074:1] SURICATA TCPv4 invalid checksum [**] [Classification: (null)] [Priority: 3] {TCP} 172.16.253.158:22 -> 172.16.253.1:46317
3. 04/01/2015-15:49:06.566759 [**] [1:2200074:1] SURICATA TCPv4 invalid checksum [**] [Classification: (null)] [Priority: 3] {TCP} 172.16.253.158:22 -> 172.16.253.1:46317

日志也可以提供 Json 格式以便导入：

1. $ tail -f /var/log/suricata/eve.json

---

1. {"timestamp":"2015-04-01T15:49:06.565901","event_type":"alert","src_ip":"172.16.253.158","src_port":22,"dest_ip":"172.16.253.1","dest_port":46317,"proto":"TCP","alert":{"action":"allowed","gid":1,"signature_id":2200074,"rev":1,"signature":"SURICATA TCPv4 invalid checksum","category":"","severity":3}}
2. {"timestamp":"2015-04-01T15:49:06.566759","event_type":"alert","src_ip":"172.16.253.158","src_port":22,"dest_ip":"172.16.253.1","dest_port":46317,"proto":"TCP","alert":{"action":"allowed","gid":1,"signature_id":2200074,"rev":1,"signature":"SURICATA TCPv4 invalid checksum","category":"","severity":3}}

总结

这篇教程中，我为大家演示了如何在一台多核 Linux 服务器上安装 Suricata 入侵检测系统。不同于单线程的 Snort IDS ，Suricata 可以很容易的从多核硬件的多进程特性所带来的好处中获益。定制 Suricata 来最大化其效能和检测范围是一个很好的主意。Suricata 的粉丝们维护着一个 在线 Wiki，如果你打算将 Suricata 部署到你的环境中，我强烈建议你去那儿取取经。

如果你现在已经开始使用 Suricata 了的话，把你的经验也分享出来吧。

---

via: http://xmodulo.com/install-suricata-intrusion-detection-system-linux.html

作者：Dan Nanni 译者：mr-ping 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出