AWStats 强大的日志分析系统

Posted 2020-11-18

需求

在日常web服务器的运行中，记录了大量的客户机访问的信息，而如何快捷地知道此刻web服务器的访问及运行情况，如每天的访问IP数量、点击量最大的页面、每日的访问高峰时间段等信息呢？

解决方案

将通过使用强大的日志分析系统AWStats对其进行自动化的日志分析与统计工作。

AWStats介绍

AWStats是使用Perl语言开发的一款开源日志分析系统，它不仅可用来分析Apache网站服务器的访问日志，也可以用来分析Samba、Vsftpd、IIS等服务的日志信息。结合crond等计划任务服务，可以对不断增长的日志内容定期进行分析。

环境：

• rhel6.5操作系统
• 服务器IP地址：192.168.100.5
• rhel6.5的镜像光盘挂载至/mnt/cdrom/
• 已经部署好Apache服务器
• 已经做好DNS正向解析，通过www.test.com可以正常访问到该服务器(请参考:DNS域名解析服务(正向解析、反向解析、主从服务器）第一部分 正向解析部分)

目标：

为WEB站点www.test.com添加AWStates日志分析系统

部署服务：

1. 解压并安装AWStates软件包

tar zxvf awstats-7.6.tar.gz -C /opt/            //解压至/opt目录下
mv /opt/awstats-7.6 /usr/local/awstats          //移动文件至/usr/local/awstats目录下
cd /usr/local/awstats/tools                 //进入awstats的tools目录下

2. 为www.test.com站点新建站点统计配置文件，借助AWStates系统提供的awstats_configure.pl脚本进行创建，过程如下：

./awstats_configure.pl

----- AWStats awstats_configure 1.0 (build 20140126) (c) Laurent Destailleur -----
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:

• You are not an administrator user,
• You want to analyze downloaded log files without web server,
• You want to analyze mail or ftp log files instead of web log files,
• You need to analyze load balanced servers log files,
• You want to ‘understand‘ all possible ways to use AWStats...
  Read the AWStats documentation (docs/index.html).

-----> Running OS detected: Linux, BSD or Unix

-----> Check for web server install

Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:Program filesapache groupapacheconfhttpd.conf
Config file path (‘none‘ to skip web server setup):
/etc/httpd/conf/httpd.conf //输入httpd.conf的路径

-----> Check and complete web server config file ‘/etc/httpd/conf/httpd.conf‘
Add ‘Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"‘
Add ‘Alias /awstatscss "/usr/local/awstats/wwwroot/css/"‘
Add ‘Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"‘
Add ‘ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"‘
Add ‘<Directory>‘ directive
AWStats directives added to Apache config file.

-----> Update model config file ‘/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf‘
File awstats.model.conf updated.

-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y //输入y

-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
www.test.com //输入 站点域名:www.test.com

-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
//直接 “回车键”

-----> Create config file ‘/etc/awstats/awstats.www.test.com.conf‘
Config file /etc/awstats/awstats.www.test.com.conf created.

-----> Restart Web server with ‘/sbin/service httpd restart‘
Stopping httpd: [ OK ]
Starting httpd: [ OK ]

-----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue...

A SIMPLE config file has been created: /etc/awstats/awstats.www.test.com.conf
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for ‘www.test.com‘ with command:
perl awstats.pl -update -config=www.test.com
You can also read your statistics for ‘www.test.com‘ with URL:
http://localhost/awstats/awstats.pl?config=www.test.com

Press ENTER to finish... //直接“回车键”退出

3. 检查httpd.conf文件尾部是否含有以下信息

vim /etc/httpd/conf/httpd.conf

<Directory "/usr/local/awstats/wwwroot">
Options None
AllowOverride None
Order Allow,deny
Allow from all
</Directory>

或如下图所示，即可

4. 修改站点统计配置文件

vim /etc/awstats/awstats.www.test.com.conf

......
LogFile="/var/log/httpd/access_log" //50行，修改web日志文件位置
DirData="/var/lib/awstats" //220行，数据目录，awstats 默认不存在（需要创建）
......

创建/var/lib/awstats目录

mkdir -p /var/lib/awstats

5. 重启httpd服务

service httpd stop
service httpd start

6. 使用AWStates提供的awstats_updateall.pl脚本更新所有站点的日志统计数据

./awstats_updateall.pl now   //更新站点数据

7. 由于Web日志文件的内容是不断在更新的，为了及时反馈网站访问的情况，日志分析工作也需要定期、自动地执行。可以通过crond服务设置计划性任务

添加计划性任务

crontab -e

/1 * /usr/local/awstats/tools/awstats_updateall.pl now //每分钟更新一次数据

启动crond服务

service crond start

通过以下网站进行访问awstats日志分析系统：http://www.test.com/awstats/awstats.pl?config=www.test.com

8. 为了便于访问awstats日志分析系统进行以下优化

cd /usr/local/apache/htdocs        //进入web站点目录下

vim awb.html //创建awb.html网页文件，并写入以下文件

<html>
<head>
<meta http-equiv=refresh content="0;url=http://www.test.com/awstats/awstats.pl?config=www.test.com">;
</head>
<body></body>
</html>

以后直接通过如下网址便可以进行访问： http://www.test.com/awb.html