nginx_日志

Posted linux——quan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了nginx_日志相关的知识,希望对你有一定的参考价值。

192.168.31.250 - - [13/Nov/2019:08:38:07 +0800] "GET /aa HTTP/1.1" 404 571 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362" "-"
log_format  main  $remote_addr - $remote_user [$time_local] "$request" 
                      $status $body_bytes_sent "$http_referer" 
                      "$http_user_agent" "$http_x_forwarded_for";

字段

说明

$remote_addr 客户端地址
$remote_user 客户端用户名称
$time_local 访问时间和时区
$request 请求的URI和HTTP协议
$http_host 请求地址,即浏览器中你输入的地址(IP或域名)
$status HTTP请求状态
$upstream_status upstream状态
$body_bytes_sent 发送给客户端文件内容大小
$http_referer url跳转来源
$http_user_agent 用户终端浏览器等信息
$ssl_protocol SSL协议版本
$ssl_cipher 交换数据中的算法
$upstream_addr 后台upstream的地址,即真正提供服务的主机地址
$request_time 整个请求的总时间
$upstream_response_time 请求过程中,upstream响应时间

常用分析结构

 awk {if ($9~/502|499|500|503|404/)print $1,$9} access.log |sort|uniq -c |sort -nr |awk {if ($1 > 1)print $2}
#分析状态码等错误信息页面,打印大于一次的IP地址

sed -n "/2019:06:00/,/2019:13:00/p" access.log
#按时间选出日志


awk {print $1} access.log |sort |uniq -c |sort -nr |head -20
#访问量前20 的IP


awk {print $11} access.log |sort -r |uniq -c |wc -l
#服务器的UV统计
#UV( unique visitor,网站独立访客)

#通过互联网访问、流量网站的自然人。1天内相同访客多次访问网站,只计算为1个独立访客。该概念的引入,是从用户个体的角度对访问数据进行划分。


 awk {print $7} access.log |wc -l
#服务器的总PV量
#PV(page view,页面浏览量)

#用户每打开1个网站页面,记录1个PV。用户多次打开同一页面,PV值累计多#次。主要用来衡量网站用户访问的网页数量。是评价网站流量最常用的指标之一。

普及知识:
#VV(video view,视频播放量)

#一个统计周期内,视频被打开的次数。

#CV(Content Views,内容播放数)

#一个统计周期内,视频被打开,且视频正片内容(除广告)被成功播放的次数。

#VV和CV属于播放类指标,PV、UV、IP属于浏览类指标。

 

以上是关于nginx_日志的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之_18_大数据离线平台_02_Nginx+Mysql+数据收集+Web 工程 JS/JAVA SDK 讲解+Flume 故障后-如何手动上传 Nginx 日志文件至 HDFS 上(示例代码

多维度分析统计nginx访问日志

argparse 代码片段只打印部分日志

常用python日期日志获取内容循环的代码片段

基于hadoop的nginx访问日志分析---计算日pv

基于hadoop的nginx访问日志分析--计算时刻pv