如何用SARG日志分析器来分析Squid日志

Posted 2023-04-29

　　SARG是一款基于网络的工具，它可以分析Squid日志，并以更详细的方式展示分析。系统管理员可以利用SARG来监视哪些网站被访问了，并跟踪访问量最大的网站和用户。本文包含了SARG配置工作。SARG提供了很多有用的特性，但是分析一个原始Squid日志文件并不直接。比如，你如何分析下面Squid日志中的时间戳和数字？

复制代码
代码如下:
　　1404788984.429 1162 172.17.1.23 TCP_MISS/302 436 GET http://facebook.com/ - DIRECT/173.252.110.27 text/html
　　1404788985.046 12416 172.17.1.23 TCP_MISS/200 4169 CONNECT stats.pusher.com:443 - DIRECT/173.255.223.127 -
　　1404788986.124 174 172.17.1.23 TCP_MISS/200 955 POST http://ocsp.digicert.com/ - DIRECT/117.18.237.29 application/ocsp-response
　　1404788989.738 342 172.17.1.23 TCP_MISS/200 3890 CONNECT www.google.com:443 - DIRECT/74.125.200.106 -
　　1404788989.757 226 172.17.1.23 TCP_MISS/200 942 POST http://clients1.google.com/ocsp - DIRECT/74.125.200.113 application/ocsp-response
　　1404788990.839 3939 172.17.1.23 TCP_MISS/200 78944 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
　　1404788990.846 2148 172.17.1.23 TCP_MISS/200 118947 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
　　1404788990.849 2151 172.17.1.23 TCP_MISS/200 76809 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
　　1404788991.140 611 172.17.1.23 TCP_MISS/200 110073 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 –

　　我们使用yum来安装安装必要的依赖。

复制代码
代码如下:
　　# yum install gcc make wget httpd crond

　　在启动时加载必要的服务

复制代码
代码如下:
　　# service httpd start; service crond start
　　# chkconfig httpd on; chkconfig crond on

　　现在我们下载并解压SARG
　　上一节教程中，我们展示了如何在CentOS上使用Squid配置透明代理。Squid提供了很多有用的特性，但是分析一个原始Squid日志文件并不直接。比如，你如何分析下面Squid日志中的时间戳和数字？

复制代码
代码如下:
　　1404788984.429 1162 172.17.1.23 TCP_MISS/302 436 GET http://facebook.com/ - DIRECT/173.252.110.27 text/html
　　1404788985.046 12416 172.17.1.23 TCP_MISS/200 4169 CONNECT stats.pusher.com:443 - DIRECT/173.255.223.127 -
　　1404788986.124 174 172.17.1.23 TCP_MISS/200 955 POST http://ocsp.digicert.com/ - DIRECT/117.18.237.29 application/ocsp-response
　　1404788989.738 342 172.17.1.23 TCP_MISS/200 3890 CONNECT www.google.com:443 - DIRECT/74.125.200.106 -
　　1404788989.757 226 172.17.1.23 TCP_MISS/200 942 POST http://clients1.google.com/ocsp - DIRECT/74.125.200.113 application/ocsp-response
　　1404788990.839 3939 172.17.1.23 TCP_MISS/200 78944 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
　　1404788990.846 2148 172.17.1.23 TCP_MISS/200 118947 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
　　1404788990.849 2151 172.17.1.23 TCP_MISS/200 76809 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 -
　　1404788991.140 611 172.17.1.23 TCP_MISS/200 110073 CONNECT fbstatic-a.akamaihd.net:443 - DIRECT/184.26.162.35 –

　　我们使用yum来安装安装必要的依赖。

复制代码
代码如下:
　　# yum install gcc make wget httpd crond

　　在启动时加载必要的服务

复制代码
代码如下:
　　# service httpd start; service crond start
　　# chkconfig httpd on; chkconfig crond on

　　现在我们下载并解压SARG

复制代码
代码如下:
　　# wget http://downloads.sourceforge.net/project/sarg/sarg/sarg-2.3.8/sarg-2.3.8.tar.gz?
　　# tar zxvf sarg-2.3.8.tar.gz
　　# cd sarg-2.3.8

　　注意: 对于64位的Linux，log.c的源代码需要用下面的文件打补丁。

复制代码
代码如下:
　　1506c1506
　　< if (fprintf(ufile->file, "%s\\t%s\\t%s\\t%s\\t%"PRIi64"\\t%s\\t%ld\\t%s\\n",dia,hora,ip,url,nbytes,code,elap_time,smartfilter)<=0)
　　---
　　> if (fprintf(ufile->file, "%s\\t%s\\t%s\\t%s\\t%"PRIi64"\\t%s\\t%ld\\t%s\\n",dia,hora,ip,url,(int64_t)nbytes,code,elap_time,smartfilter)<=0)
　　1513c1513
　　< fprintf(fp_log, "%s\\t%s\\t%s\\t%s\\t%s\\t%"PRIi64"\\t%s\\t%ld\\t%s\\n",dia,hora,user,ip,url,nbytes,code,elap_time,smartfilter);
　　---
　　> fprintf(fp_log, "%s\\t%s\\t%s\\t%s\\t%s\\t%"PRIi64"\\t%s\\t%ld\\t%s\\n",dia,hora,user,ip,url,(int64_t)nbytes,code,elap_time,smartfilter);
　　1564c1564
　　< printf("LEN=\\t%"PRIi64"\\n",nbytes);　　---
　　> printf("LEN=\\t%"PRIi64"\\n",(int64_t)nbytes);

　　如下继续并编译/安装SARG

复制代码
代码如下:
　　# ./configure
　　# make
　　# make install

　　SARG安装之后，配置文件可以按你的要求修改。下面是一个SARG配置的例子。

复制代码
代码如下:
　　# vim /usr/local/etc/sarg.conf
　　access_log /var/log/squid/access.log
　　temporary_dir /tmp
　　output_dir /var/www/html/squid-reports
　　date_format e ## We use Europian DD-MM-YYYY format here ##
　　## we don’t want multiple reports for single day/week/month ##
　　overwrite_report yes

　　现在是时候测试运行了，我们用调试模式运行sarg来查看是否存在错误。

复制代码
代码如下:
　　# sarg -x

　　如果i一切正常，sarg会根系Squid日志，并在/var/www/html/squid-reports下创建报告。报告也可以在浏览器中通过地址http://<服务器IP>/squid-reports/访问。
　　SARG可以用于创建日、周、月度报告。时间范围用“-d”参数来指定，值的形式很可能为day-n、 week-n 或者 month-n，n的值为向前推移的天/周/月的数量。比如，使用week-1,SARG会生成之前一星期的报告。使用day-2,SARG会生成之前两天的报告。
　　作为演示，我们会准备一个计划任务来每天运行SARG。

复制代码
代码如下:
　　# vim /etc/cron.daily/sarg
　　#!/bin/sh
　　/usr/local/bin/sarg -d day-1

　　文件需要可执行权限。

复制代码
代码如下:
　　# chmod 755 /usr/local/bin/sarg

　　现在SARG应该会每天准备关于Squid管理的流量报告。这些报告可以很容易地通过SARG网络接口访问。
　　以上就是利用SARG工具，来分析分析Squid日志，并以更详细的方式展示分析。系统管理员可以利用SARG来监视哪些网站被访问了，并跟踪访问量最大的网站和用户。
　　另外脚本之家小编找来的这篇文章还包含了SARG配置工作。你可以进一步自定义配置来满足自己的要求。希望能帮助大家，谢谢有点。 参考技术A 您好，很高兴为您解答。

教程：http://www.linuxidc.com/Linux/2014-08/105573.htm

如若满意，请点击右侧【采纳答案】，如若还有问题，请点击【追问】

希望我的回答对您有所帮助，望采纳！

squid-sarg日志，ACL访问控制，反向代理

实验环境

squid服务器 ens33:192.168.13.184
                                        ens36:192.168.10.1 （仅主机模式）
web服务器 192.168.13.151
client 192.168.10.10  （仅主机模式）

一，ACL访问控制

1，在squid服务器上修改配置文件

[root@squid ~]# vim /etc/squid.conf  ##修改配置文件
# should be allowed
acl hostlocal src 192.168.10.10/32  ##控制hostlocal10.10的主机
# Deny requests to certain unsafe ports
http_access deny hostlocal  ##拒绝访问
[root@squid ~]# service squid reload   ##重启squid服务

2，在测试机上访问web网页

二，sarg日志

1，在squid服务器上安装sarg

[root@squid ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/  ##挂载
Password for root@//192.168.100.3/LNMP-C7:  
[root@squid ~]# cd /mnt/
[root@squid mnt]# tar zxvf sarg-2.3.7.tar.gz -C /opt/   ##解压
[root@squid mnt]# cd /opt/sarg-2.3.7/
[root@squid sarg-2.3.7]# yum install gd gd-devel -y  ##安装gd库
[root@squid sarg-2.3.7]# ./configure --prefix=/usr/local/sarg   ##安装路径
> --sysconfdir=/etc/sarg    ##配置文件
> --enable-extraprotection  ##开启安全防护
[root@squid sarg-2.3.7]# make && make install  ##编译安装

2，修改sarg配置文件

[root@squid sarg-2.3.7]# vim /etc/sarg/sarg.conf  ##修改sarg配置文件
##将下面的模块修改开启
access_log /usr/local/squid/var/logs/access.log  ##指定访问日志文件
title "Squid User Access Reports"  ##网页标题
output_dir /var/www/html/squid-reports  ##报告输出目录
user_ip no  ##使用用户名显示
exclude_hosts /usr/local/sarg/noreport  ##不计入排序的站点列表文件
topuser_sort_field connect reverse  
##top排序中有连接次数，访问字节，降序排列，升序是normal
overwrite_report no  ##同名日志是否覆盖
mail_utility mailq.postfix  ##发送邮件报告命令
charset UTF-8  ##使用字符集
weekdays 0-6  ##top排行的时间周期
hours 0-23  ##top排行的时间周期
www_document_root /var/www/html  ##网页根目录
[root@squid ~]# sarg   ##生成报告
SARG: 纪录在文件: 91, reading: 100.00%
SARG: 成功的生成报告在 /var/www/html/squid-reports/2019Dec11-2019Dec12
[root@squid sarg-2.3.7]# cd /var/www/html/squid-reports/  ##切换到html目录下
[root@squid squid-reports]# ls
2019Dec11-2019Dec12   images  index.html
[root@squid squid-reports]# yum install httpd -y  ##安装httpd服务
[root@squid squid-reports]# systemctl start httpd.service  ##开启服务
[root@squid squid-reports]# systemctl stop firewalld.service   ##关闭防火墙
[root@squid squid-reports]# setenforce 0

3，用测试机访问网页查看访问记录

##周期性计划任务执行每天生成报告crontab
sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)

三，squid反向代理

squid服务器 ens33:192.168.13.184
                                        ens36:192.168.10.1 （仅主机模式）
web1服务器 192.168.13.151
web2服务器 192.168.13.185
client 192.168.10.10  （仅主机模式）

1，在web1服务器上编辑一个网页内容

[root@web ~]# cd /var/www/html/
[root@web html]# vim index.html  ##编辑网页内容
<h1>this is test web!</h1>

2，在测试机上访问网页

3，在web2服务器上编辑一个网页内容

[root@web2 ~]# systemctl stop firewalld.service   ##关闭防火墙
[root@web2 ~]# setenforce 0
[root@web2 ~]# yum install httpd -y   ##安装httpd服务
[root@web2 ~]# cd /var/www/html/   ##创建网页内容
[root@web2 html]# vim index.html
<h1>this is test2 web!</h1>
[root@web2 html]# systemctl start httpd.service 

4，在squid服务上配置反向代理

[root@localhost squid]# vim /etc/squid.conf
# Squid normally listens to port 3128
http_port 192.168.13.184:80 accel vhost vport ##监控本机80端口
cache_peer 192.168.13.151 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
##节点服务器1最大访问30，权重1，别名web1
cache_peer 192.168.13.185 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer_domain web1 web2 www.yun.com  ##访问yun.com匹配web1，web2节点
[root@localhost squid]# service squid restart  ##重启squid服务

5，在测试机的admin用户下配置解析域名地址，并设置代理

谢谢阅读！