python - 日志记录模块(logging)的二次封装

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python - 日志记录模块(logging)的二次封装相关的知识,希望对你有一定的参考价值。

参考技术A 上篇文章 对logging做了基本介绍,我们可以使用logging来做日志的简单记录。但实际项目应用时,我们一般会根据自身需要对其做二次封装(loggingV2),然后在其他python文件中, 先import申明后直接调用。

废话不多说,下面给几个二次封装的简单示例:

示例一:

loggingV2.py - 封装

logMain.py - 应用

示例二:

    对上述示例进行 模块化封装 ,如下log.py

则任何声明了log模块的python文件都可以调用logging日志系统,如下logMain.py

示例三:

    对上述示例进行 定制化封装 ,如下myLog.py

    需求:

    1)同时实现终端显示与日志文件保存

    2)日志文件名除日期外,增加显示时间,精确到秒

    3)日志输出级别可配置

    4)日志保存路径与文件名可配置

    5)日志跨天(或者小时/分钟),另生成新文件保存

改写logMain.py,如下:

示例四:

    对上述示例进行 异步线程封装 ,如下myThreadLog.py

    需求:

        1)独立线程处理日志,不影响主程序性能

        2)使用队列异步处理日志记录

 继续改写logMain.py,如下:

    注意 - 线程相关操作函数(如下):

        1.threading.Thread() — 创建线程并初始化线程,可以为线程传递参数

        2.threading.enumerate() — 返回一个包含正在运行的线程的list

        3.threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果

        4.Thread.start() — 启动线程

        5.Thread.join() — 阻塞函数,一直等到线程结束

        6.Thread.isAlive() — 返回线程活动状态

        7.Thread.setName() — 设置线程名

        8.Thread.getName() — 获取线程名

        9.Thread.setDaemon() — 设置为后台线程,这里默认是False,设置为True之后则主线程不会再等待子线程结束才结束,而是主线程结束意味程序退出,子线程也立即结束,注意调用时必须设置在start()之前;

        10.除了以上常用函数,线程还经常与互斥锁Lock/事件Event/信号量Condition/队列Queue等函数配合使用

logging模块

什么是logging模块

logging模块是python提供的用于记录日志的模块

为什么需要logging

我们完全可以自己打开文件然后,日志写进去,但是这些操作重复且没有任何技术含量,所以python帮我们进行了封装,有了logging后我们在记录日志时 只需要简单的调用接口即可,非常方便!

日志级别

在开始记录日志前还需要明确,日志的级别

随着时间的推移,日志记录会非常多,成千上万行,如何快速找到需要的日志记录这就成了问题

解决的方案就是 给日志划分级别

logging模块将日志分为了五个级别,从高到低分别是:

1.info 常规信息

2.debug 调试信息

3.warning 警告信息

4.error 错误信息

5.cretical 严重错误

本质上他们使用数字来表示级别的,从高到低分别是10,20,30,40,50

 

logging模块的使用

#1.导入模块
import logging
?
#2.输出日志
logging.info("info")
logging.debug("debug")
logging.warning("warning")
logging.error("error")
logging.critical("critical")
?
#输出 WARNING:root:warning
#输出 ERROR:root:error
#输出 CRITICAL:root:critical

我们发现info 和 debug都没有输出,这是因为它们的级别不够,

默认情况下:

logging的最低显示级别为warning,对应的数值为30
?
日志被打印到了控制台
?
日志输出格式为:级别 日志生成器名称 日志消息

如何修改这写默认的行为呢?,这就需要我们自己来进行配置

自定义配置

import logging
logging.basicConfig()
?
"""可用参数
filename:用指定的文件名创建FiledHandler(后边会具体讲解handler的概念),这样日志会被存储在指定的文件中。
filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
format:指定handler使用的日志显示格式。
datefmt:指定日期时间格式。
level:设置rootlogger(后边会讲解具体概念)的日志级别
"""
?
#案例:
logging.basicConfig(
   filename="aaa.log",
   filemode="at",
   datefmt="%Y-%m-%d %H:%M:%S %p",
   format="%(asctime)s - %(name)s - %(levelname)s - %(module)s: %(message)s",
   level=10
)

格式化全部可用名称

%(name)s:Logger的名字,并非用户名,详细查看
%(levelno)s:数字形式的日志级别
%(levelname)s:文本形式的日志级别
%(pathname)s:调用日志输出函数的模块的完整路径名,可能没有
%(filename)s:调用日志输出函数的模块的文件名
%(module)s:调用日志输出函数的模块名
%(funcName)s:调用日志输出函数的函数名
%(lineno)d:调用日志输出函数的语句所在的代码行
%(created)f:当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d:输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s:字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d:线程ID。可能没有
%(threadName)s:线程名。可能没有
%(process)d:进程ID。可能没有
%(message)s:用户输出的消息

 

至此我们已经可以自己来配置一 写基础信息了,但是当我们想要将同一个日志输出到不同位置时,这些基础配置就无法实现了,

例如 有一个登录注册的功能 需要记录日志,同时生成两份 一份给程序员看,一份给老板看,作为程序员应该查看较为详细的日志,二老板则应该简单一些,因为他不需要关心程序的细节

要实现这样的需要我们需要系统的了解loggin模块

logging模块的四个核心角色

1.Logger 日志生成器 产生日志

2.Filter 日志过滤器 过滤日志

3.Handler 日志处理器 对日志进行格式化,并输出到指定位置(控制台或文件)

4.Formater 处理日志的格式

 

一条日志完整的生命周期

1.由logger 产生日志 -> 2.交给过滤器判断是否被过滤 -> 3.将日志消息分发给绑定的所有处理器 -> 4处理器按照绑定的格式化对象输出日志

其中 第一步 会先检查日志级别 如果低于设置的级别则不执行

第二步 使用场景不多 需要使用面向对象的技术点 后续用到再讲

第三步 也会检查日志级别,如果得到的日志低于自身的日志级别则不输出

生成器的级别应低于句柄否则给句柄设置级别是没有意义的,
?
例如 handler设置为20 生成器设置为30
?
30以下的日志压根不会产生

第四步 如果不指定格式则按照默认格式

 

logging各角色的使用(了解)

# 生成器
logger1 = logging.getLogger("日志对象1")
?
# 文件句柄
handler1 = logging.FileHandler("log1.log",encoding="utf-8")
handler2 = logging.FileHandler("log2.log",encoding="utf-8")
?
# 控制台句柄
handler3 = logging.StreamHandler()
?
?
# 格式化对象
fmt1 = logging.Formatter(
   fmt="%(asctime)s - %(name)s - %(levelname)s: %(message)s",
   datefmt="%m-%d %H:%M:%S %p")
fmt2 = logging.Formatter(
   fmt="%(asctime)s - %(levelname)s : %(message)s",
   datefmt="%Y/%m/%d %H:%M:%S")
?
# 绑定格式化对象与文件句柄
handler1.setFormatter(fmt1)
handler2.setFormatter(fmt2)
handler3.setFormatter(fmt1)
?
# 绑定生成器与文件句柄
logger1.addHandler(handler1)
logger1.addHandler(handler2)
logger1.addHandler(handler3)
?
# 设置日志级别
logger1.setLevel(10)    #生成器日志级别
handler1.setLevel(20)   #句柄日志级别
?
# 测试
logger1.debug("debug msessage")
logger1.info("info msessage")
logger1.warning("warning msessage")
logger1.critical("critical msessage")

到此我们已经可以实现上述的需求了,但是这并不是我们最终的实现方式,因为每次都要编写这样的代码是非常痛苦的

logging的继承(了解)

可以将一个日志指定为另一个日志的子日志 或子孙日志

当存在继承关系时 子孙级日志收到日志时会将该日志向上传递

指定继承关系:

import  logging
?
log1 = logging.getLogger("mother")
log2 = logging.getLogger("mother.son")
log3 = logging.getLogger("mother.son.grandson")
?
# handler
fh = logging.FileHandler(filename="cc.log",encoding="utf-8")
# formatter
fm = logging.Formatter("%(asctime)s - %(name)s -%(filename)s - %(message)s")
?
# 绑定
log1.addHandler(fh)
log2.addHandler(fh)
log3.addHandler(fh)
# 绑定格式
fh.setFormatter(fm)
# 测试
# log1.error("测试")
# log2.error("测试")
log3.error("测试")
# 取消传递
log3.propagate = False
# 再次测试
log3.error("测试")

 

通过字典配置日志模块(重点)

每次都要编写代码来配置非常麻烦 ,我们可以写一个完整的配置保存起来,以便后续直接使用

import logging.config
logging.config.dictConfig(LOGGING_DIC)
logging.getLogger("aa").debug("测试")

LOGGING_DIC模板

standard_format = ‘[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]‘ \
                 ‘[%(levelname)s][%(message)s]‘ #其中name为getlogger指定的名字
?
simple_format = ‘[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s‘
?
id_simple_format = ‘[%(levelname)s][%(asctime)s] %(message)s‘
logfile_path = "配置文件路径"
?
LOGGING_DIC =
   ‘version‘: 1,
   ‘disable_existing_loggers‘: False,
   ‘formatters‘:
       ‘standard‘:
           ‘format‘: standard_format
      ,
       ‘simple‘:
           ‘format‘: simple_format
      ,
  ,
   ‘filters‘: ,
   ‘handlers‘:
       #打印到终端的日志
       ‘console‘:
           ‘level‘: ‘DEBUG‘,
           ‘class‘: ‘logging.StreamHandler‘,  # 打印到屏幕
           ‘formatter‘: ‘simple‘
      ,
       #打印到文件的日志,收集info及以上的日志
       ‘default‘:
           ‘level‘: ‘DEBUG‘,
           ‘class‘: ‘logging.handlers.RotatingFileHandler‘,  # 保存到文件
           ‘formatter‘: ‘standard‘,
           ‘filename‘: logfile_path,  # 日志文件
           ‘maxBytes‘: 1024*1024*5,  # 日志大小 5M
           ‘backupCount‘: 5, #日志文件最大个数
           ‘encoding‘: ‘utf-8‘,  # 日志文件的编码
      ,
  ,
   ‘loggers‘:
       #logging.getLogger(__name__)拿到的logger配置
       ‘aa‘:
           ‘handlers‘: [‘default‘, ‘console‘],  # 这里把上面定义的两个handler都加上,即log数据既写入文件又打印到屏幕
           ‘level‘: ‘DEBUG‘,
           ‘propagate‘: True,  # 向上(更高level的logger)传递
      ,
  ,

补充:

getLogger参数就是对应字典中loggers的key , 如果没有匹配的key 则返回系统默认的生成器,我们可以在字典中通过空的key来将一个生成器设置为默认的

‘loggers‘: 
  # 把key设置为空
       ‘‘:
           ‘handlers‘: [‘default‘, ‘console‘],  # 这里把上面定义的两个handler都加上,即log数据既写入文件又打印到屏幕
           ‘level‘: ‘DEBUG‘,
           ‘propagate‘: True,  # 向上(更高level的logger)传递
      ,
  ,

,往后在使用时可以这调用模块提供的函数,来输出日志

logging.info("测试信息!")

另外我们在第一次使用日志时并没有指定生成器,但也可以使用,这是因为系统有默认的生成器名称就叫root

 

最后来完成之前的需求:

有一个登录注册的功能 需要记录日志,同时生成两份 一份给程序员看,一份给老板看,作为程序员应该查看较为详细的日志,二老板则应该简单一些,因为他不需要关心程序的细节

# 程序员看的格式
standard_format = ‘[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]‘ \
                 ‘[%(levelname)s][%(message)s]‘ #其中name为getlogger指定的名字
logfile_path1 = "coder.log"
?
# 老板看的格式
simple_format = ‘[%(levelname)s][%(asctime)s]%(message)s‘
logfile_path2 = "boss.log"
?
?
LOGGING_DIC =
   ‘version‘: 1,
   ‘disable_existing_loggers‘: False,
   ‘formatters‘:
       ‘standard‘:
           ‘format‘: standard_format
      ,
       ‘simple‘:
           ‘format‘: simple_format
      ,
  ,
   ‘filters‘: ,
   ‘handlers‘:
       #打印到终端的日志
       ‘console‘:
           ‘level‘: ‘DEBUG‘,
           ‘class‘: ‘logging.StreamHandler‘,  # 打印到屏幕
           ‘formatter‘: ‘simple‘
      ,
       #打印到文件的日志,收集info及以上的日志
       ‘std‘:
           ‘level‘: ‘DEBUG‘,
           ‘class‘: ‘logging.handlers.RotatingFileHandler‘,  # 保存到文件
           ‘formatter‘: ‘standard‘,
           ‘filename‘: logfile_path1,  # 日志文件
           ‘maxBytes‘: 1024*1024*5,  # 日志大小 5M
           ‘backupCount‘: 5, #日志文件最大个数
           ‘encoding‘: ‘utf-8‘,  # 日志文件的编码
      ,
       ‘boss‘:
           ‘level‘: ‘DEBUG‘,
           ‘class‘: ‘logging.handlers.RotatingFileHandler‘,  # 保存到文件
           ‘formatter‘: ‘simple‘,
           ‘filename‘: logfile_path2,  # 日志文件
           ‘maxBytes‘: 1024 * 1024 * 5,  # 日志大小 5M
           ‘backupCount‘: 5,  # 日志文件最大个数
           ‘encoding‘: ‘utf-8‘,  # 日志文件的编码
     
  ,
   ‘loggers‘:
       #logging.getLogger(__name__)拿到的logger配置
       ‘aa‘:
           ‘handlers‘: [‘std‘, ‘console‘,"boss"],  # 这里把上面定义的handler都加上,即log数据会同时输出到三个位置
           ‘level‘: ‘INFO‘,
           ‘propagate‘: True,  # 向上(更高level的logger)传递
      ,
  ,

以上是关于python - 日志记录模块(logging)的二次封装的主要内容,如果未能解决你的问题,请参考以下文章

Python日志—Python日志模块logging介绍

python日志模块-logging

Python logging模块使用配置文件记录日志

[ Python入门教程 ] Python中日志记录模块logging使用实例

Python之日志处理 logging模块

Python之日志处理(logging模块)