Python接口自动化浅析logging日志原理及模块操作流程

Posted 2021-11-02 修罗神天道

一、日志介绍

01 为什么需要日志？

代码需要经历开发、调试、审查、测试或者上线等不同阶段，在开发时想要打印的信息类型可能和上线后想看到的信息类型完全不同。也就是说，在“测试”时，可能只想看警告和错误信息，然而在“调试”时，可能还想看到跟调试相关的信息。 如果你想打印出使用的模块以及代码运行的时间，那么代码很容易变得混乱。使用logging日志模块，这些问题就能很容易地解决。

02 什么是日志？

日志就是用于记录系统运行时的信息，对一个事件的记录，也称为Log。

03 日志的用途是什么？

日志的基本用途如下：

• 记录程序运行过程中的错误，方便跟踪定位问题，减少调试和维护成本；
• 通过日志能还原整个程序的执行过程，能了解程序的整体状态；
• 对用户行为分析和数据统计，知晓信息来自于哪个模块；
• 在设计测试框架的时候，也可以通过设计日志来记录框架的整个测试流程；

04 日志的级别分为哪些？

常见日志等级，如下：

DEBUG：调试级别（Value=10），打印非常详细的日志信息，通常仅在Debug时使用，如算法中每个循环的中间状态；

INFO：信息级别（Value=20），打印一般的日志信息，突出强调程序的运行过程 ，主要用于处理请求或者状态变化等日常事务；

ERROR：错误级别（Value=40），打印错误异常信息，该级别的错误可能会导致系统的一些功能无法正常使用，如IO操作失败或者连接问题；

CRITICAL：严重错误（Value=50），一个严重的错误，导致系统可能无法继续运行，如内存耗尽、磁盘空间为空，一般很少使用；

05 日志功能的实现

几乎所有开发语言都会内置日志相关功能，或者会有比较优秀的第三方库来提供日志操作功能，比如：log4j，log4php等。它们功能强大、使用简单。

Python自身也提供了一个用于记录日志的标准库模块——logging。

二、Logging模块

01 logging模块介绍

logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等。

02 logging模块优势

相比print，具备如下优点：

• 可以在 logging 模块中设置日志等级，在不同的relase版本（如开发环境、生产环境）上通过设置不同的输出等级来记录对应的日志，只输出重要信息，而不必显示大量的调试信息；
• print 的输出信息都会输出到标准输出流中，严重影响开发者从标准输出中查看其它数据，而 logging 模块更加灵活，可以设置输出到任意位置，如写入文件、写入远程服务器等；
• logging 模块具有灵活的配置和格式化功能，如配置输出当前模块信息、运行时间等，由开发者决定将信息输出到什么地方，以及怎么输出，相比 print 的字符串格式化更加方便易用。

03 logging日志框架的组成

Logger：日志，暴露函数给应用程序，基于日志记录器和过滤器级别决定哪些日志有效。

LogRecord ：日志记录器，将日志传到相应的处理器处理。

Handler ：处理器, 将(日志记录器产生的)日志记录发送至合适的目的地。

Filter ：过滤器, 提供了更好的粒度控制,它可以决定输出哪些日志记录。

Formatter：格式化器, 指明了最终输出中日志记录的布局。

04 logging函数中的具体参数

filename：指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中；

filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“w”还可指定为“a”；

format：指定handler使用的日志显示格式；

datefmt：指定日期时间格式

level：设置rootlogger的日志级别；

stream：用指定的stream创建StreamHandler；

05 简单的日志小例子

我们试着分别输出一条不同日志级别的日志记录：

import logging
logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")

输出结果为：

WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.

为什么debug、info级别日志没输出呢？logging模块提供的默认的日志级别是WARNING，所以只输出了WARNING及以上的日志级别。

输出内容格式说明：日志级别:日志器名称:日志内容， 如果未自定义日志器名称，默认是root。

以下是源码：

def getLogger(name=None):
    """
    Return a logger with the specified name, creating it if necessary.
    If no name is specified, return the root logger.
    """
    if name:
        return Logger.manager.getLogger(name)
    else:
        return root

06 自定义logger日志

设置日志收集器及级别： 

# 定义一个日志收集器
logger = logging.getLogger('ITester')
# 设置收集器的级别，不设定的话，默认收集warning及以上级别的日志
logger.setLevel('DEBUG')

 设置日志格式：

fmt =logging.Formatter('%(filename)s-%(lineno)d-%(asctime)s-%(levelname)s-%(message)s')

 常见的日志输出格式：

 设置日志处理器-输出到文件： 

# 输出到文件
file_handler = logging.FileHandler('../log/mylog.txt')
# 设置日志处理器级别
file_handler.setLevel("DEBUG")
# 处理器按指定格式输出日志
file_handler.setFormatter(fmt)

在项目下新建一个文件夹log，在文件夹下新建文件mylog.txt用于存放日志。

设置日志处理器-输出到控制台：

# 输出到控制台
ch = logging.StreamHandler()
# 设置日志处理器级别
ch.setLevel("DEBUG")
# 处理器按指定格式输出日志
ch.setFormatter(fmt)

收集器和处理器对接，指定输出渠道：

# 日志输出到文件
logger.addHandler(file_handler)
# 日志输出到控制台
logger.addHandler(ch)

 logger日志大致流程图，如下：

我们将以上独立的介绍糅合到一起，测试功能是否正常。在common目录下，新建文件logger_handler.py。

import logging
 
# 定义一个日志收集器
logger = logging.getLogger('ITester')
 
# 设置收集器的级别，不设定的话，默认收集warning及以上级别的日志
logger.setLevel('DEBUG')
 
# 设置日志格式
fmt =logging.Formatter('%(filename)s-%(lineno)d-%(asctime)s-%(levelname)s-%(message)s')
 
# 设置日志处理器-输出到文件
file_handler = logging.FileHandler('../log/mylog.txt')
 
# 设置日志处理器级别
file_handler.setLevel("DEBUG")
 
# 处理器按指定格式输出日志
file_handler.setFormatter(fmt)
 
# 输出到控制台
ch = logging.StreamHandler()
# 设置日志处理器级别
ch.setLevel("DEBUG")
# 处理器按指定格式输出日志
ch.setFormatter(fmt)
 
# 收集器和处理器对接，指定输出渠道
# 日志输出到文件
logger.addHandler(file_handler)
# 日志输出到控制台
logger.addHandler(ch)
 
if __name__ == '__main__':
    logger.debug('自定义的debug日志')
    logger.info('自定义的info日志')
    logger.warning('自定义的warning日志')
    logger.error('自定义的error日志')
    logger.critical('自定义的critical日志')

控制台输出效果：

文件输出效果：