用Sawmill搭建日志平台

Posted 2021-01-04

1.系统简介

Sawmill适用于Unix/Linux和Windows等多种平台，支持900 种日志格式，集中式且跨平台的日志报表管理系统，能集中搜集日志，并产生中文报表(包含体简体及繁体中文)，简约的操作界面让使用者能直觉地透过简单的点击操作，快速分析并定制报表。
透过Sawmill 的分析统计具有如下功能:
? 操作系统：账号的登入与登出、各种服务状态、告警信息的排行列举；
? FTP 服务：用户登入登出、访问次数、文件的上传下载信息及带宽的占用；
? Web 服务：网页点阅率、页面停留时间、来源区域分布、点击路径分析；
? Mail 服务：邮件收发人、收发地址、收发状态、响应路径、邮件统计；
? Firewall服务：可查询IP、区域分类、分析来源位置、带宽使用量；
? Datebase：数据库的连线存取、建立、审计异常进入进出状态；

图 1 Sawmill架构图

2.部署注意事项

1）操作系统：Sawmill支持全系列操作系统，无论UNIX/Linux还是Windows都有对应版本
2）硬盘容量估算：按照未压缩情况计算，建议准备500GB以上空间。
3）防火墙设定：
? Sawmaill管理接口使用TCP Port 8988,所以系统防火墙需要开放此端口；
? Syslog Server默认使用UDP Port514，所以系统防火墙需要开放此端口；

3.安装举例

我们部署在SUSE Linux Enterprise 11，(SUSE Linux Enterprise 12 同样适用)目前最新版本为8.7.4，大家可以到www.sawmill-asia.com下载。输入以下命令：
步骤一：#./sawmill
安装完成即可登录http://IP:8988,下一步接受许可协议选择企业版。
步骤二：设定Sawmill开机启动
#vi /etc/rc.local 在最后加入如下一行：
/opt/sawmill/bin/sawmill&
步骤三：配置syslog server能够接受外来日志
#vi/etc/sysconfig/syslog
SYSLOGD_OPTIONS="-m 0 -r"
#/etc/init.d/syslog restart
经过以上三个步骤，系统就安装完毕，下面开始在Web下调试。可以先选择本地日志，方法是先新建一个Profile,在日志来源处选择本地磁盘，如图3-20所示。如果选择网络磁盘就要标示出主机名和具体路径，如图2所示

图2 加载本地日志文件
选择日志来源，既可以选择本地日志，也可通过FTP、SFTP和HTTP方式获取日志。

图3 选择远程日志文件
上图通过Http方式获取日志。下面以本地磁盘的日志文件为例，介绍Sawmill的使用方法。
下面假设分析本地Apache访问日志。过程很简单，如图4所示。这时系统会让你选择日志格式，通常选取第二项，如图5所示。

图4 分析Apache访问日志

图5 检查日志格式
接下来输入apache的路径,如果输入错误找不到文件的错误提示会输出到/var/log/messages中。最后定义配置文件，取个有意义的名字即可。
经过以上导入设置，系统会计算分析并自动生成详细的结果，如图6所示。通过系统提供的丰富图表就能非常直观的看出网站访问过程的细节了，不再是像第一章中介绍的那样只有一堆单调的字符了。

图6 分析Apache日志结果

4.监测网络Attack

防火墙***日志分析范例:
Ping×××时一种很原始的×××方式，它主要利用了ICMP（控制消息错误报文协议），×××原理实际上就是通过Ping大量的数据包使得计算机的CPU使用率居高不下而崩溃，面对这种×××，SAWMILL会立刻将其记录到日志库中。如图7所示。

图7 Attack日志分析
综上所述，Sawmill是一款功能强大的、记录详细的日志分析软件，它是基于原始日志数据（Raw data）内容建立索引，保存索引的同时也保存原始日志内容。