awk和sed截取nginx和tomcat时间段日志

Posted 2022-08-15

nginx日志截取示例

日志路径：/usr/local/nginx/logs, 截取access.log中2019年3月24日17点00~02之间的日志：
　写法1：

cat access.log | awk ‘$4 >="[24/Mar/2019:17:00:00" && $4 <="[24/Mar/2019:17:02:00"‘

　写法2：

cat access.log | egrep "24/Mar/2019" | awk -F‘:‘ ‘$2 = 17 && $3 >= 00 && $3 <= 02‘

　写法3：

cat access.log |egrep "24/Mar/2019" |sed -n ‘/17:00:00/,/17:02:00/p‘

tomcat日志截取示例

日志路径：/usr/local/tomcat/logs, 截取catalina.out中2019年3月24日17点00~02之间的日志：
写法1：

sed -n ‘/2019-03-24 17:00:/,/2019-03-24 17:02:/p‘  catalina.out

写法2：

    cat catalina.out| egrep "2019-03-24" | awk -F‘:‘ ‘$2 = 17 && $3 >= 00 && $3 <= 02‘

awk统计nginx日志的ip访问量

nginx日志事先截取一部分：tail -n500 access.log >access.log1

第一种：使用awk sort，$1表示以空格为分割符的第一列，也就是文件中的ip地址，使用sort对结果排序，uniq -c进行计数，最后sort -n是以“数字”来排序，针对统计后的访问次数来排序

awk ‘print $1‘ access.log1|sort |uniq -c|sort -n

第二种：awk for,即数组; 默认变量为0，对每一行的$1作为key，count数组++，实现ip的计数。计数结束后END。然后把结果打印出来，最后sort -n以“数字”排序。

awk ‘count[$1]++;ENDfor(i in count)printf("%s\t%s\n", count[i], i);‘ access.log1|sort -n

取nginx日志访问接口次数

通过上面的方法将某个时间段日志取出来，查询该时间段访问接口最多的前10：

#!/bin/bash
 #统计接口的访问次数
 TODAY=`date +%d/%b/%Y`
 cat $1 |awk -F ‘"‘ ‘print $2‘|awk ‘split($2,res,"?") ; print res[1] ‘|sort|uniq -c|sort -gr |head -n10