awstats 日志分析工具linux下的安装和使用

Posted 2020-08-04 范晨鹏的博客

合并日志文件可以使用 bash 的sort命令：

#sort -m -t " " -k 4 -o log_all access*.log

也可以使用  awstats 提供的 logresolvemerge.pl

#perl /usr/local/awstats/tools/logresolvemerge.pl -dnslookup=100 -showsteps access*.log >log_all

-showsteps 表示每8192行显示一次进度。

-dnslookup=100 表示用100个线程对 访问 IP进行dns解析。

以上命令，将需要分析的日志合并成一个 log_all文件

#perl awstats_configure.pl
#perl awstats.pl -config=www.mysite.com -update  -showdropped  -showcorrupted
#perl awstats_buildstaticpages.pl -config=www.mysite.com -month=05 -year=2016 -dir=/root/mysite

 

 需要关注的参数：
Not viewed traffic * 里面包含了ua 为爬虫的数据，以及应答码为404错误等信息。

awstats是用于统计分析的，一些指标不能分析到，一些时候我们需要查相关的原始日志。这些情况可以考虑使用正则表达式工具直接对日志进行分析。

如果是 windows下的 log文件，在unix下使用正则表达式处理，需要将末尾的 \r\n 替换为 \n.可以使用 dos2unix命令，但如果日志中有二进制数据，会失败。这时需要使用 sed命令。

#sed -i -e ‘s/^M$/\n/g‘ log_all

-i 表示修改结果直接写入到文件。

-e 表示使用正则表达式