第二十三篇 logging模块(******)

Posted 2020-12-02 victorm

日志非常重要，而且非常常用，可以通过logging模块实现。

 热身运动

import logging

logging.debug("debug message")
logging.info("info message")
logging.warning("warning message")
logging.error("error message")
logging.critical("critical message")

# 结果
# WARNING:root:warning message
# ERROR:root:error message
# CRITICAL:root:critical message

# 为社么只显示了三条？
# 因为默认的基本是warning，会把>=warning级别的消息都打印出来。

可见，默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET），默认的日志格式为日志级别：Logger名称：用户输出消息。

测试环境下，为了调试程序，尽可能的让开发看到更多的日志信息，所以日志级别会往低调；

而生产环境下，线上数据量很庞大，日志信息有时候需要存储很久，相应的应该调高日志级别，没用的日志就不要存了，比如调到WAENING级别，甚至会跳到ERROR级别。

日志的基本玩法

• logging.basicConfig()：日志的基本设置
  • 　　level：设置rootlogger的日志级别，不设置是，默认是WARNING级别
  • 　　filename：用指定的文件名创建FiledHandler,日志会被存储在指定的文件中。
  • 　　filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”,  以追加方式打开文件；还可以指定为“w
  •        format：指定handler使用的日志显示格式，它有以下个格式化串
  • 
  • 　　datefmt：指定日期时间格式
         stream：用指定的stream创建StreamHandler。(创建文件的方式是流方式还是文件方式）
  • 　　可以指定输出到sys.stderr, sys.stdout 或者文件（f=open(‘test.log‘, ‘w‘）),默认为sys.stderr。
  • 　　若同时列出了filename和stream两个参数，则stream参数会被忽略
  • 　　再说的直白点就是，如果没有指定filename,执行后日志信息就会显示到屏幕下方的输出台上　　

灵活配置日志级别，日志格式，输出位置

import logging

logging.basicConfig(
    level=logging.DEBUG,       # 把默认级别跳转到DEBUG级别
    filename = "logger.log",    # 给日志起个文件名，有这个，运行后日志就不在显示控制台了
    filemode="w",              # 指定写入文件时以w方式;不指定时，默认是以追加方式写入
    format="%(asctime)s %(filename)s [%(lineno)d] %(message)s",     # 格式是固定的 "%(固定的字段)s"
)

logging.debug("debug message")
logging.info("info message")
logging.warning("warning message")
logging.error("error message")
logging.critical("critical message")

日志的另种高级玩法：logger对象

上述几个例子中我们了解到了logging.debug()、logging.info()、logging.warning()、logging.error()、logging.critical()（分别用以记录不同级别的日志信息），logging.basicConfig()（用默认日志格式（Formatter）为日志系统建立一个默认的流处理器（StreamHandler），设置基础配置（如日志级别等）并加到root logger（根Logger）中）这几个logging模块级别的函数，另外还有一个模块级别的函数是logging.getLogger([name])（返回一个logger对象，如果没有指定名字将返回root logger）

先简单介绍一下，logging库提供了多个组件：Logger、Handler、Filter、Formatter：

• 　　Logger对象提供应用程序可直接使用的接口，
• 　　Handler发送日志到适当的目的地，
•        Filter提供了过滤日志信息的方法，
•        Formatter指定日志显示格式

一. Logger对象

Logger是一个树形层级结构，输出信息之前都要获得一个Logger（如果没有显示的获取则自动创建并使用root Logger，如第一个例子所示）。
logger = logging.getLogger()返回一个默认的Logger也即root Logger，并应用默认的日志级别、Handler和Formatter设置。
当然也可以通过Logger.setLevel(lel)指定最低的日志级别，可用的日志级别有logging.DEBUG、logging.INFO、logging.WARNING、logging.ERROR、logging.CRITICAL。
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()输出不同级别的日志，只有日志等级大于或等于设置的日志级别的日志才会被输出。

import logging
def log():
    # 首先得创建一个对象
    logger = logging.getLogger()

    fh = logging.FileHandler("test_log")    #  向文件发送内容
    ch = logging.StreamHandler()  #  向屏幕发送内容

    # fh 和 ch 都有自己默认的日志格式，但是也可以修改他们的日志格式
    fm = logging.Formatter("%(asctime)s %(message)s")
    fh.setFormatter(fm)
    # ch.setFormatter(fm)  # 如果注释了这行，ch还存在，而且还有自己默认的格式，屏幕依然会显示日志

    logger.addHandler(fh)
    logger.addHandler(ch)
    logger.setLevel("DEBUG")
    return logger    # 返回一个logger对象

# ========================================
# 上面都是对logger的设置，而且设置成了函数，在任何地方都可以调用了
###下面都是操作logger###
logger = log()
logger.debug("hello debug")
logger.info("hello info")
logger.warning("hello warning")
logger.error("hello error")
logger.critical("hello critical")

两个需要注意的地方:

(1) 创建两个logger对象，logger1 和 logger2。

import logging

logger1 = logging.getLogger("myLogger")
logger1.setLevel(logging.DEBUG)

logger2 = logging.getLogger("myLogger")
logger2.setLevel(logging.INFO)

fh=logging.FileHandler("new_logger_test")
ch = logging.StreamHandler()

logger1.addHandler(fh)
logger1.addHandler(ch)

logger2.addHandler(fh)
logger2.addHandler(ch)


logger1.debug("logger1 hello debug")
logger1.info("logger1 hello info")
logger1.warning("logger1 hello warning")
logger1.error("logger1 hello error")
logger1.critical("logger1 hello critical")


logger2.debug("logger2 hello debug")
logger2.info("logger2 hello info")
logger2.warning("logger2 hello warning")
logger2.error("logger2 hello error")
logger2.critical("logger2 hello critical")


# 运行结果

这里是有问题的啦:

（1）logger1的level是DEBUG级别，应该显示5条日志，实际上显示了4条，从INFO级别开始显示的，为什么没有显示出DEBUG级别的日志信息？

（2）logger2的level是INFO级别，应该显示4条日志，实际也显示了4条

原因：

       原来logger1和logger2对应的是同一个Logger实例，只要logging.getLogger（name）中名称参数name相同则返回的Logger实例就是同一个，且仅有一个，也即name与Logger实例一一对应。在logger2实例中通过logger2.setLevel(logging.INFO)设置mylogger的日志级别为logging.INFO，所以最后logger1的输出遵从了后来设置的日志级别。

 

 

所以，结论是：如果要父对象logger下要创建多个logger对象，name一定不能一样，否则就会出现类似上面的问题

（2）

# 1. 纠正上面的问题，把name改为不一致

import logging

logger = logging.getLogger()               # 2.创建一个根对象
logger.setLevel(logging.WARN)

logger1 = logging.getLogger("myLogger1")   # name名修改
logger1.setLevel(logging.DEBUG)

logger2 = logging.getLogger("myLogger2")

 # name名修改

logger2.setLevel(logging.INFO) fh=logging.FileHandler("new_logger_test") ch = logging.StreamHandler() logger.addHandler(ch) logger.addHandler(fh) logger1.addHandler(fh) logger1.addHandler(ch) logger2.addHandler(fh) logger2.addHandler(ch) logger.debug("logger hello debug") logger.info("logger hello info") logger.warning("logger hello warning") logger.error("logger hello error") logger.critical("logger hello critical") logger1.debug("logger1 hello debug") logger1.info("logger1 hello info") logger1.warning("logger1 hello warning") logger1.error("logger1 hello error") logger1.critical("logger1 hello critical") logger2.debug("logger2 hello debug") logger2.info("logger2 hello info") logger2.warning("logger2 hello warning") logger2.error("logger2 hello error") logger2.critical("logger2 hello critical") # 结果

 从结果中看，首先上面的问题通过修改name后，就解决了。

而同时创建了一个根logger，又带来另外一个新问题，导致logger1 和logger2都显示了2遍，这是为什么？

原因：

       （1）这是因为我们通过logger = logging.getLogger()显示的创建了root Logger，

　　（2）而logger1 = logging.getLogger(‘mylogger1‘)创建了root Logger的孩子(root.)mylogger1,

　　（3）logger2与logger1 同样，也创建了root Logger的孩子(root.)mylogger2。

　　（4）而孩子,孙子，重孙……既会将消息分发给他的handler进行处理，而且也会传递给所有的祖先Logger处理，所以父logger打印了自己的一次外，也处理了来自子孙的mylogger1和mylogger2,又打印了1次，再加上子孙mylogger1和mylogger2自己也会打印1次，所以加起来mylogger1和mylogger2都分别打印了2次。

OK。

ok,那么现在我们把下面两行注释掉

# logger.addHandler(fh)

# logger.addHandler(ch)  注释掉，我们再来看效果：

 

为什么这次对了呢？

原因：

　　（1）因为我们注释了logger对象显示的位置，所以才用了默认方式，即标准输出方式。因为它的父级没有设置文件显示方式，所以在这里只打印了一次。

　　（2）孩子,孙子，重孙……可逐层继承来自祖先的日志级别、Handler、Filter设置，也可以通过Logger.setLevel(lel)、Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)、Logger.addFilter(filt)、Logger.removeFilter(filt)。设置自己特别的日志级别、Handler、Filter。若不设置则使用继承来的值。

 二. Filter()

 限制只有满足过滤规则的日志才会输出。
     比如我们定义了filter = logging.Filter(‘a.b.c‘),并将这个Filter添加到了一个Handler上，则使用该Handler的Logger中只有名字带  a.b.c前缀的Logger才能输出其日志。

     filter = logging.Filter(‘mylogger‘) 

     logger.addFilter(filter)

     这是只对logger这个对象进行筛选,

     如果想对所有的对象进行筛选，则：

      filter = logging.Filter(‘mylogger‘) 

      fh.addFilter(filter)

      ch.addFilter(filter)

      这样，所有添加fh或者ch的logger对象都会进行筛选。

完整代码1：

import logging

logger = logging.getLogger()
# 创建一个handler，用于写入日志文件
fh = logging.FileHandler(‘test.log‘)

# 再创建一个handler，用于输出到控制台
ch = logging.StreamHandler()

formatter = logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘)

fh.setFormatter(formatter)
ch.setFormatter(formatter)

# 定义一个filter
filter = logging.Filter(‘mylogger‘)
fh.addFilter(filter)
ch.addFilter(filter)

# logger.addFilter(filter)
logger.addHandler(fh)
logger.addHandler(ch)




logger.setLevel(logging.DEBUG)

logger.debug(‘logger debug message‘)
logger.info(‘logger info message‘)
logger.warning(‘logger warning message‘)
logger.error(‘logger error message‘)
logger.critical(‘logger critical message‘)

##################################################
logger1 = logging.getLogger(‘mylogger‘)
logger1.setLevel(logging.DEBUG)

logger2 = logging.getLogger(‘mylogger‘)
logger2.setLevel(logging.INFO)

logger1.addHandler(fh)
logger1.addHandler(ch)

logger2.addHandler(fh)
logger2.addHandler(ch)

logger1.debug(‘logger1 debug message‘)
logger1.info(‘logger1 info message‘)
logger1.warning(‘logger1 warning message‘)
logger1.error(‘logger1 error message‘)
logger1.critical(‘logger1 critical message‘)

logger2.debug(‘logger2 debug message‘)
logger2.info(‘logger2 info message‘)
logger2.warning(‘logger2 warning message‘)
logger2.error(‘logger2 error message‘)
logger2.critical(‘logger2 critical message‘)

View Code

完整代码2：

#coding:utf-8  
import logging  
  
# 创建一个logger    
logger = logging.getLogger()  
  
logger1 = logging.getLogger(‘mylogger‘)  
logger1.setLevel(logging.DEBUG)  
  
logger2 = logging.getLogger(‘mylogger‘)  
logger2.setLevel(logging.INFO)  
  
logger3 = logging.getLogger(‘mylogger.child1‘)  
logger3.setLevel(logging.WARNING)  
  
logger4 = logging.getLogger(‘mylogger.child1.child2‘)  
logger4.setLevel(logging.DEBUG)  
  
logger5 = logging.getLogger(‘mylogger.child1.child2.child3‘)  
logger5.setLevel(logging.DEBUG)  
  
# 创建一个handler，用于写入日志文件    
fh = logging.FileHandler(‘/tmp/test.log‘)  
  
# 再创建一个handler，用于输出到控制台    
ch = logging.StreamHandler()  
  
# 定义handler的输出格式formatter    
formatter = logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘)  
fh.setFormatter(formatter)  
ch.setFormatter(formatter)  
  
#定义一个filter  
#filter = logging.Filter(‘mylogger.child1.child2‘)  
#fh.addFilter(filter)    
  
# 给logger添加handler    
#logger.addFilter(filter)  
logger.addHandler(fh)  
logger.addHandler(ch)  
  
#logger1.addFilter(filter)  
logger1.addHandler(fh)  
logger1.addHandler(ch)  
  
logger2.addHandler(fh)  
logger2.addHandler(ch)  
  
#logger3.addFilter(filter)  
logger3.addHandler(fh)  
logger3.addHandler(ch)  
  
#logger4.addFilter(filter)  
logger4.addHandler(fh)  
logger4.addHandler(ch)  
  
logger5.addHandler(fh)  
logger5.addHandler(ch)  
  
# 记录一条日志    
logger.debug(‘logger debug message‘)  
logger.info(‘logger info message‘)  
logger.warning(‘logger warning message‘)  
logger.error(‘logger error message‘)  
logger.critical(‘logger critical message‘)  
  
logger1.debug(‘logger1 debug message‘)  
logger1.info(‘logger1 info message‘)  
logger1.warning(‘logger1 warning message‘)  
logger1.error(‘logger1 error message‘)  
logger1.critical(‘logger1 critical message‘)  
  
logger2.debug(‘logger2 debug message‘)  
logger2.info(‘logger2 info message‘)  
logger2.warning(‘logger2 warning message‘)  
logger2.error(‘logger2 error message‘)  
logger2.critical(‘logger2 critical message‘)  
  
logger3.debug(‘logger3 debug message‘)  
logger3.info(‘logger3 info message‘)  
logger3.warning(‘logger3 warning message‘)  
logger3.error(‘logger3 error message‘)  
logger3.critical(‘logger3 critical message‘)  
  
logger4.debug(‘logger4 debug message‘)  
logger4.info(‘logger4 info message‘)  
logger4.warning(‘logger4 warning message‘)  
logger4.error(‘logger4 error message‘)  
logger4.critical(‘logger4 critical message‘)  
  
logger5.debug(‘logger5 debug message‘)  
logger5.info(‘logger5 info message‘)  
logger5.warning(‘logger5 warning message‘)  
logger5.error(‘logger5 error message‘)  
logger5.critical(‘logger5 critical message‘)

View Code

应用：

import os
import time
import logging
from config import settings


def get_logger(card_num, struct_time):

    if struct_time.tm_mday < 23:
        file_name = "%s_%s_%d" %(struct_time.tm_year, struct_time.tm_mon, 22)
    else:
        file_name = "%s_%s_%d" %(struct_time.tm_year, struct_time.tm_mon+1, 22)

    file_handler = logging.FileHandler(
        os.path.join(settings.USER_DIR_FOLDER, card_num, ‘record‘, file_name),
        encoding=‘utf-8‘
    )
    fmt = logging.Formatter(fmt="%(asctime)s :  %(message)s")
    file_handler.setFormatter(fmt)

    logger1 = logging.Logger(‘user_logger‘, level=logging.INFO)
    logger1.addHandler(file_handler)
    return logger1

View Code