应急响应——Web日志分析

Posted Thgilil

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了应急响应——Web日志分析相关的知识,希望对你有一定的参考价值。

Web日志

Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析,不仅可以帮助我们定位攻击者,还可以帮助我们还原攻击路径,找到网站存在的安全漏洞并进行修复。

Web日志格式

218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1” 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”

web日志格式共有9项内容,如下表示

主机ip/hyphen(可为空)/用户HTTP身份验证(可为空)/请求时间/请求方法、资源、协议/状态码/字节数/HTTP Referer(可为空)/User-Agent

通过web访问日志,可以清除的得知用户在 什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面,是否访问成功。

Web入侵日志分析

网站入侵分析的思路

确定攻击者入侵时间、ip地址,查找这个时间范围内可以的日志,进一步排查,最终确定攻击者,还原攻击过程。分析攻击者如何找到后台(模糊目录?);攻击者如何进入后台(弱密码/爆破密码/强制浏览),检查是否留有后门,是否进入服务器?若进入了服务器则对服务器进行主机入侵排查

中间件日志默认存放位置

apache

apache日志一般分为access_log 和 error_log两种

Windows:  /apache/logs/
Linux: /var/log/apache2
  • access_log记录对apache服务器的请求访问
  • error_log记录错误请求,服务器错误

Ngnix

ngnix日志一般分为access.log、error.log两种

Windows: /nginx/logs/
Linux: /var/log/nginx
  • access.log 主要记录访问日志
  • error.log 主要记录一些错误信息

iis

文件夹下的日志,主要记录访问域名时间、访问IP、访问url等信息

Windows: C:\\WINDOWS\\system32\\LogFiles

tomcat

##安装目录
/tomcat/logs

/tomcat日志一般分为catalina.out、localhost、manager、

  • localhost_access_log4种格式日志。
  • catalina.out主要记录运行中残生的信息,如异常错误等
  • localhost.Y-M-D.log 内部代码丢出的异常日志
  • manager.Y-M-D.log 管理日志
  • localhost_access_log 访问日志信息,访问时间、ip地址等

weblogic

Weblogic安装后默认开启日志记录功能,默认情况下会有3中日志,分别是access log、Server log 、domain log

##Weblogic 8.x版本日志位置$MW_HOME\\user_projects\\domains\\<domain_name>\\<server_name>\\access.log

$MW_HOME\\user_projects\\domains\\<domain_name>\\<server_name>\\<server_name>.log

$MW_HOME\\user_projects\\domains\\<domain_name>\\<domain_name>.log

##Weblogic 9及以后版本日志位置
$MW_HOME\\user_projects\\domains\\<domain_name>\\servers、<server_name>\\logs\\access.log

$MW_HOME\\user_projects\\domains\\<domain_name>\\servers\\<server_name>\\logs\\<server_name>.log

$MW_HOME\\user_projects\\domains\\<domain_name>\\servers\\<adminserver_name>\\logs\\<domain_name>.log

#其中$MW_HOME是WebLogic的安装目录
#<domain_name>是域的实际名称,是在创建域的时候指定的
#<server_name>是Server的实际名称,是在创建Server的时候指定的
#<adminserver_name>是Admin Server的实际名称,是在创建Admin Server的时候指定的
  • access.log主要记录http请求
  • server log 主要记录weblogic启动、关闭、部署等相关信息
  • domain log 主要记录weblogic server 的doain运行情况(如:严重错误)

日志分析

#统计爬虫:

grep -E 'Googlebot|Baiduspider'  /www/logs/access.2019-02-23.log | awk ' print $1 ' | sort | uniq

#统计浏览器

cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100

#IP统计

grep '23/May/2019' /www/logs/access.2019-02-23.log | awk 'print $1' | awk -F'.' 'print $1"."$2"."$3"."$4' | sort | uniq -c | sort -r -n | head -n 10   2206 219.136.134.13   1497 182.34.15.248   1431 211.140.143.100   1431 119.145.149.106   1427 61.183.15.179   1427 218.6.8.189   1422 124.232.150.171   1421 106.187.47.224   1420 61.160.220.252   1418 114.80.201.18

#网段统计

cat /www/logs/access.2019-02-23.log | awk 'print $1' | awk -F'.' 'print $1"."$2"."$3".0"' | sort | uniq -c | sort -r -n | head -n 200

#域名统计

cat  /www/logs/access.2019-02-23.log |awk 'print $2'|sort|uniq -c|sort -rn|more

#URL统计

cat  /www/logs/access.2019-02-23.log |awk 'print $7'|sort|uniq -c|sort -rn|more

#文件流量统计

cat /www/logs/access.2019-02-23.log |awk 'sum[$7]+=$10ENDfor(i in sum)print sum[i],i'|sort -rn|moregrep ' 200 ' /www/logs/access.2019-02-23.log |awk 'sum[$7]+=$10ENDfor(i in sum)print sum[i],i'|sort -rn|more

#URL访问量统计

cat /www/logs/access.2019-02-23.log | awk 'print $7' | egrep '?|&' | sort | uniq -c | sort -rn | more

#IP、URL抽取

tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk 'print $1" "$7'
#1、列出当天访问次数最多的IP命令:
cut -d- -f 1 log_file|uniq -c | sort -rn | head -20


#2、查看当天有多少个IP访问:
awk 'print $1' log_file|sort|uniq|wc -l


#3、查看某一个页面被访问的次数:
grep "/index.php" log_file | wc -l


#4、查看每一个IP访问了多少个页面:
awk '++S[$1] END for (a in S) print a,S[a]' log_file


#5、将每个IP访问的页面数进行从小到大排序:
awk '++S[$1] END for (a in S) print S[a],a' log_file | sort -n


#6、查看某一个IP访问了哪些页面:
grep ^111.111.111.111 log_file| awk 'print $1,$7'


#7、去掉搜索引擎统计当天的页面:
awk 'print $12,$1' log_file | grep ^\\"Mozilla | awk 'print $2' |sort | uniq | wc -l


#8、查看2018年6月21日14时这一个小时内有多少IP访问:
awk 'print $4,$1' log_file | grep 21/Jun/2018:14 | awk 'print $2'| sort | uniq | wc -l

参考:
https://www.secpulse.com/archives/108090.html
https://bypass007.github.io/Emergency-Response-Notes/LogAnalysis/%E7%AC%AC3%E7%AF%87%EF%BC%9AWeb%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90.html

以上是关于应急响应——Web日志分析的主要内容,如果未能解决你的问题,请参考以下文章

应急响应——Web日志分析

应急响应——Windows日志分析

应急响应——Windows日志分析

应急响应——Windows日志分析

[ 应急响应 ]服务器(电脑)受到攻击该如何处理?

应急响应和安全运营基础