Nginx 日志管理 日志自动备份

Posted 2020-11-11

一、nginx日志描述

     通过访问日志，可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，可以得到系统某个服务或Server的性能瓶颈等。因此，将日志好好利用，可以得到很多有价值的信息。

二、Nginx日志格式

 1、   打开nginx.conf配置文件：

    vim /usr/local/nginx/conf/nginx.conf

      通过查看Nginx配置文件中的server段，可以查看到如下类似信息：

    # access_log  logs/host.access.log    main;         #这说明，该Server，它的访问日志的文件是   logs/host.access.log  ,默认使用的格式“main”格式。

    除了“main” 格式，还可以自定义其他格式。

    “main”的主要格式：

    

             #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

             #                  '$status $body_bytes_sent "$http_referer" '

             #                  '"$http_user_agent" "$http_x_forwarded_for"';

           main格式是我们定义好的一种日志格式，并起个名字，便于引用。以上面的例子，main类型的日志，记录的 remote_addr .... http_x_forwarded_for 等选项。

        如默认的main日志格式，记录以下几项；

                远程IP-远程用户/用户时间  请求方式  （如GET/POST） 请求body长度 referer来源信息

                 http-user-agent  用户代理/蜘蛛 ，被转发的请求的原始IP

                http_x_forwarded_for:在经过代理时，代理把你的本来的IP加在此头信息中，传输你的原始IP。

            

    

    Nginx允许针对不同的Server做不同的log，（有的web服务器不支持，）

 2、实际配置信息

        打开conf/nginx.conf配置文件，在Server段下方添加以下信息：

            access_log  logs/z.com.access.log  main;

        

        软重启Nginx服务：/usr/local/nginx/sbin/nginx -s reload

        

        浏览器访问z.com  然后刷新网页

        查看日志，cd /usr/local/nginx/logs/

          

            日志记录信息；

            

三、Nginx日志分隔

        Nginx得日志文件没有rotate功能。编写每天生成一个日志，我们可以写一个Nginx日志分隔脚本来自动切割日志文件。

         第一步需要对日志文件重命名，一般日志文件的命名根据时间日期进行命名。

         第二步向Nginx主进程发送USR1信号。Nginx主进程接到信号后会从配置文件中读取日志文件名称，重新打开日志文件（以配置文件中的日志名称命名），并以工作进程的用户作为日志文件的所有者。重新打开日志文件后，Nginx主进程会关闭重名的日志文件并通知工作进程使用新打开的日志文件。工作进程立即打开新的日志文件并关闭重命名的日志文件。

    1、以日期命名日志文件名：

        查看时间、日期：date命令   时间、日期格式化命令：date -d yesterday +%Y%M%d    昨天的日期

        

    2、编写一个shell脚本，自动切割日志文件

        创建一个data文件夹，存放日志文件

        mkdir /data

        cd /data

        

        编写一个shell脚本，runlog.sh            （知识扩展：时间格式化（date -d last-da +%Y-%m-%d  %H:%M:%S））

        vim runlog.sh

        

        #!/bin/bash

        LOGPATH=/usr/local/nginx/logs/z.com.access.log          #指定变量，确定日志的文件位置

        BASEPATH=/data                                                              #备份日志的位置

        bak=$BASEPATH/$(date -d yesterday +%Y%m%d%H%M).zcom.access.log     #重新定义一个变量，将需要备份的日志文件以时间命名

        mv $LOGPATH $bak     #移动文件

        touch $LOGPATH         #重新建立一个新的空的日志文件

        kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)      #发送信号

        

        

        执行脚本文件  runlog.sh

        

        知识扩展：

        crontab 详细用法  定时任务

        使用crontab可以在指定的时间执行一个shell脚本或者一系列Linux命令。

        往cron中添加作业，例如：crontab -e       0 5 *** /usr/bin/backup.sh         # 每天早上5点运行 /usr/bin/backup.sh 脚本

        crontab 文件的格式：{minute}{hour}{day-of-month}{month}{day-of-week}{full-path-to-shell-script}

        # minute:区间为0-59        #hour：区间为0-23      #day-of-mouth：区间为0-31       #mouth：区间为1-12  1是1月 12是12月 。

        day-of-week:区间为0-7，周日可以是0或7；

        

        下面开始设置自动执行runlog.sh脚本文件

        crontab -e  (如果没有这个文件，会自动创建）

        */1 * * * * sh /data/runlog.sh       #每一分钟执行以下shell脚本

        

        

        在/data目录下按照每个月自动创建目录，每个月的日志文件自动存放在相应月的目录下：

        vim /data/runlog.sh

          

        #!/bin/bash

        LOGPATH=/usr/local/nginx/logs/z.com.acces.log  #设置变量，将日志文件指向变量

        BASEPATH=/data/$(date -d yesterday +%Y%m)    #设置变量，设置创建文件夹的格式

        mkdir -p $BASEPATH                                           #创建文件夹，

        bak=$BASEPATH/$(date -d yesterday +%Y%m%d%H%M).zcom.acces.log     #重新定义一个变量，将需要备份的日志文件以时间命名

        mv $LOGPATH $bak        #移动备份文件

        touch $LOGPATH            #新建一个新的空的日志文件

 

        kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)      #发送信号

        

         执行脚本   sh /data/runlog.sh

            

        

        系统能够自动备份日志文件，能够自动建立文件夹并进行自动备份日志。