logging --- Python 的日志记录工具

Posted 2023-02-01 咸鱼书生

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了logging --- Python 的日志记录工具相关的知识，希望对你有一定的参考价值。

`logging` --- Python 的日志记录工具

源代码： Lib/logging/__init__.py

此页面仅包含 API 参考信息。教程信息和更多高级用法的讨论，请参阅

这个模块为应用与库实现了灵活的事件日志系统的函数与类。

使用标准库提供的 logging API 最主要的好处是，所有的 Python 模块都可能参与日志输出，包括你自己的日志消息和第三方模块的日志消息。

这个模块提供许多强大而灵活的功能。如果对 logging 不太熟悉，掌握它最好的方式就是查看它对应的教程（详见右侧的链接）。

该模块定义的基础类和函数都列在下面。

记录器暴露了应用程序代码直接使用的接口。
处理器将日志记录（由记录器创建）发送到适当的目标。
过滤器提供了更细粒度的功能，用于确定要输出的日志记录。
格式器指定最终输出中日志记录的样式。

记录器对象

记录器有以下的属性和方法。注意永远不要直接实例化记录器，应当通过模块级别的函数 logging.getLogger(name) 。多次使用相同的名字调用 getLogger() 会一直返回相同的 Logger 对象的引用。

name 一般是句点分割的层级值, 像``foo.bar.baz`` (尽管也可以只是普通的 foo)。层次结构列表中位于下方的记录器是列表中较高位置的记录器的子级。例如，有个名叫 foo 的记录器，而名字是 foo.bar，foo.bar.baz，和 foo.bam 的记录器都是 foo 的子级。记录器的名字分级类似 Python 包的层级，如果使用建议的结构 logging.getLogger(__name__) 在每个模块的基础上组织记录器，则与之完全相同。这是因为在模块里，__name__ 是该模块在 Python 包命名空间中的名字。

class logging.Logger

propagate

如果这个属性为真，记录到这个记录器的事件除了会发送到此记录器的所有处理程序外，还会传递给更高级别（祖先）记录器的处理器，此外任何关联到这个记录器的处理器。消息会直接传递给祖先记录器的处理器 —— 不考虑祖先记录器的级别和过滤器。

如果为假，记录消息将不会传递给当前记录器的祖先记录器的处理器。

Spelling it out with an example: If the propagate attribute of the logger named A.B.C evaluates to true, any event logged to A.B.C via a method call such as logging.getLogger(\'A.B.C\').error(...) will [subject to passing that logger\'s level and filter settings] be passed in turn to any handlers attached to loggers named A.B, A and the root logger, after first being passed to any handlers attached to A.B.C. If any logger in the chain A.B.C, A.B, A has its propagate attribute set to false, then that is the last logger whose handlers are offered the event to handle, and propagation stops at that point.

构造器将这个属性初始化为 True。

注解

如果将处理器附加到记录器和其一个或多个祖先记录器，它可能发出多次相同的记录。通常，不需要将处理器附加到一个以上的记录器上 —— 如果把它附加到记录器层次结构中最高的适当记录器上，则它将看到所有后代记录器记录的所有事件，前提是它们的传播设置保留为 True。仅将处理器附加到根记录器，通过传播来处理其余部分这种方案是比较常用的。

setLevel(level)

给记录器设置阈值为 level 。日志等级小于 level 会被忽略。严重性为 level 或更高的日志消息将由该记录器的任何一个或多个处理器发出，除非将处理器的级别设置为比 level 更高的级别。

创建记录器时，级别默认设置为 NOTSET （当记录器是根记录器时，将处理所有消息；如果记录器不是根记录器，则将委托给父级）。请注意，根记录器的默认级别为 WARNING 。

委派给父级的意思是如果记录器的级别设置为 NOTSET，将遍历其祖先记录器，直到找到级别不是 NOTSET 的记录器，或者到根记录器为止。

如果发现某个父级的级别不是 NOTSET ，那么该父级的级别将被视为发起搜索的记录器的有效级别，并用于确定如何处理日志事件。

如果搜索到达根记录器，并且其级别为 NOTSET，则将处理所有消息。否则，将使用根记录器的级别作为有效级别。

参见日志级别级别列表。

在 3.2 版更改: 现在 level 参数可以接受形如 \'INFO\' 的级别字符串表示形式，以代替形如 INFO 的整数常量。但是请注意，级别在内部存储为整数，并且 getEffectiveLevel() 和 isEnabledFor() 等方法的传入/返回值也为整数。

isEnabledFor(level): 指示此记录器是否将处理级别为 level 的消息。此方法首先检查由 logging.disable(level) 设置的模块级的级别，然后检查由 getEffectiveLevel() 确定的记录器的有效级别。

getEffectiveLevel(): 指示此记录器的有效级别。如果通过 setLevel() 设置了除 NOTSET 以外的值，则返回该值。否则，将层次结构遍历到根，直到找到除 NOTSET 以外的其他值，然后返回该值。返回的值是一个整数，通常为 logging.DEBUG、 logging.INFO 等等。

getChild(suffix): 返回由后缀确定的该记录器的后代记录器。因此，logging.getLogger(\'abc\').getChild(\'def.ghi\') 与 logging.getLogger(\'abc.def.ghi\') 将返回相同的记录器。这是一个便捷方法，当使用如 __name__ 而不是字符串字面值命名父记录器时很有用。

3.2 新版功能.

debug(msg, *args, **kwargs)

在此记录器上记录 DEBUG 级别的消息。 msg 是消息格式字符串，而 args 是用于字符串格式化操作合并到 msg 的参数。（注意，这里的意思是可以在格式字符串中使用关键字，及单个字典参数。）未提供 args 时，不会对 msg 执行％格式化操作。

kwargs 中会检查四个关键字参数： exc_info ，stack_info ，stacklevel 和 extra 。

如果 exc_info 的求值结果不为 false ，则它将异常信息添加到日志消息中。如果提供了异常元组（按照 sys.exc_info() 返回的格式）或异常实例，则它将被使用；否则，调用 sys.exc_info() 以获取异常信息。

第二个可选关键字参数是 stack_info，默认为 False。如果为 True，则将堆栈信息添加到日志消息中，包括实际的日志调用。请注意，这与通过指定 exc_info 显示的堆栈信息不同：前者是从堆栈底部到当前线程中的日志记录调用的堆栈帧，而后者是在搜索异常处理程序时，跟踪异常而打开的堆栈帧的信息。

您可以独立于 exc_info 来指定 stack_info，例如，即使在未引发任何异常的情况下，也可以显示如何到达代码中的特定点。堆栈帧在标题行之后打印：

Stack (most recent call last):

这模仿了显示异常帧时所使用的 Traceback (most recent call last): 。

第三个可选关键字参数是 stacklevel ，默认为 1 。如果大于 1 ，则在为日志记录事件创建的 LogRecord 中计算行号和函数名时，将跳过相应数量的堆栈帧。可以在记录帮助器时使用它，以便记录的函数名称，文件名和行号不是帮助器的函数/方法的信息，而是其调用方的信息。此参数是 warnings 模块中的同名等效参数。

第四个关键字参数是 extra ，传递一个字典，该字典用于填充为日志记录事件创建的、带有用户自定义属性的 LogRecord 中的 __dict__ 。然后可以按照需求使用这些自定义属性。例如，可以将它们合并到已记录的消息中：

FORMAT = \'%(asctime)s %(clientip)-15s %(user)-8s %(message)s\'
logging.basicConfig(format=FORMAT)
d = \'clientip\': \'192.168.0.1\', \'user\': \'fbloggs\'
logger = logging.getLogger(\'tcpserver\')
logger.warning(\'Protocol problem: %s\', \'connection reset\', extra=d)

输出类似于

2006-02-08 22:20:02,165 192.168.0.1 fbloggs  Protocol problem: connection reset

extra 中传入的字典的键不应与日志系统使用的键冲突。（有关日志系统使用哪些键的更多信息，请参见 Formatter 的文档。）

如果在已记录的消息中使用这些属性，则需要格外小心。例如，在上面的示例中，Formatter 已设置了格式字符串，其在 LogRecord 的属性字典中键值为 “clientip” 和 “user”。如果缺少这些内容，则将不会记录该消息，因为会引发字符串格式化异常。因此，在这种情况下，您始终需要使用 extra 字典传递这些键。

尽管这可能很烦人，但此功能旨在用于特殊情况，例如在多个上下文中执行相同代码的多线程服务器，并且出现的有趣条件取决于此上下文（例如在上面的示例中就是远程客户端IP地址和已验证用户名）。在这种情况下，很可能将专门的 Formatter 与特定的 Handler 一起使用。

在 3.2 版更改: 增加了 stack_info 参数。

在 3.5 版更改: exc_info 参数现在可以接受异常实例。

在 3.8 版更改: 增加了 stacklevel 参数。

info(msg, *args, **kwargs): 在此记录器上记录 INFO 级别的消息。参数解释同 debug()。

warning(msg, *args, **kwargs): 在此记录器上记录 WARNING 级别的消息。参数解释同 debug()。

注解

有一个功能上与 warning 一致的方法 warn。由于 warn 已被弃用，请勿再用 —— 改为使用 warning。

error(msg, *args, **kwargs): 在此记录器上记录 ERROR 级别的消息。参数解释同 debug()。

critical(msg, *args, **kwargs): 在此记录器上记录 CRITICAL 级别的消息。参数解释同 debug()。

log(level, msg, *args, **kwargs): 在此记录器上记录 level 整数代表的级别的消息。参数解释同 debug()。

exception(msg, *args, **kwargs): 在此记录器上记录 ERROR 级别的消息。参数解释同 debug()。异常信息将添加到日志消息中。仅应从异常处理程序中调用此方法。

addFilter(filter): 将指定的过滤器 filter 添加到此记录器。

removeFilter(filter): 从此记录器中删除指定的过滤器 filter。

filter(record): 将此记录器的过滤器应用于记录，如果记录能被处理则返回 True。过滤器会被依次使用，直到其中一个返回假值为止。如果它们都不返回假值，则记录将被处理（传递给处理器）。如果返回任一为假值，则不会对该记录做进一步处理。

addHandler(hdlr): 将指定的处理器 hdlr 添加到此记录器。

removeHandler(hdlr): 从此记录器中删除指定的处理器 hdlr。

findCaller(stack_info=False, stacklevel=1)

查找调用源的文件名和行号，以文件名，行号，函数名称和堆栈信息 4元素元组的形式返回。堆栈信息将返回 None，除非 stack_info 为 True。

stacklevel 参数用于调用 debug() 和其他 API。如果大于 1，则多余部分将用于跳过堆栈帧，然后再确定要返回的值。当从帮助器/包装器代码调用日志记录 API 时，这通常很有用，以便事件日志中的信息不是来自帮助器/包装器代码，而是来自调用它的代码。

handle(record): 通过将记录传递给与此记录器及其祖先关联的所有处理器来处理（直到某个 propagate 值为 false）。此方法用于从套接字接收的未序列化的以及在本地创建的记录。使用 filter() 进行记录器级别过滤。

makeRecord(name, level, fn, lno, msg, args, exc_info, func=None, extra=None, sinfo=None): 这是一种工厂方法，可以在子类中对其进行重写以创建专门的 LogRecord 实例。

hasHandlers(): 检查此记录器是否配置了任何处理器。通过在此记录器及其记录器层次结构中的父级中查找处理器完成此操作。如果找到处理器则返回 True，否则返回 False。只要找到 “propagate” 属性设置为假值的记录器，该方法就会停止搜索层次结构 —— 其将是最后一个检查处理器是否存在的记录器。

3.2 新版功能.

在 3.7 版更改: 现在可以对处理器进行序列化和反序列化。

日志级别

日志记录级别的数值在下表中给出。如果你想要定义自己的级别，并且需要它们具有相对于预定义级别的特定值，那么这你可能对以下内容感兴趣。如果你定义具有相同数值的级别，它将覆盖预定义的值；预定义的名称将失效。

级别	数值
`CRITICAL`	50
`ERROR`	40
`WARNING`	30
`INFO`	20
`DEBUG`	10
`NOTSET`	0

处理器对象

Handler 有以下属性和方法。注意不要直接实例化 Handler ；这个类用来派生其他更有用的子类。但是，子类的 __init__() 方法需要调用 Handler.__init__() 。

class logging.Handler

__init__(level=NOTSET): 初始化 Handler 实例时，需要设置它的级别，将过滤列表置为空，并且创建锁（通过 createLock() ）来序列化对 I/O 的访问。

createLock(): 初始化一个线程锁，用来序列化对底层的 I/O 功能的访问，底层的 I/O 功能可能不是线程安全的。

acquire(): 获取由 createLock() 创建的线程锁。

release(): 释放由 acquire() 获取的线程锁。

setLevel(level)

给处理器设置阈值为 level 。日志级别小于 level 将被忽略。创建处理器时，日志级别被设置为 NOTSET （所有的消息都会被处理）。

参见日志级别级别列表。

在 3.2 版更改: level 形参现在接受像 \'INFO\' 这样的字符串形式的级别表达方式，也可以使用像 INFO 这样的整数常量。

setFormatter(fmt): 将此处理器的 Formatter 设置为 fmt。

addFilter(filter): 将指定的过滤器 filter 添加到此处理器。

removeFilter(filter): 从此处理器中删除指定的过滤器 filter 。

filter(record): 将此处理器的过滤器应用于记录，在要处理记录时返回 True 。依次查询过滤器，直到其中一个返回假值为止。如果它们都不返回假值，则将发出记录。如果返回一个假值，则处理器将不会发出记录。

flush(): 确保所有日志记录从缓存输出。此版本不执行任何操作，并且应由子类实现。

close(): 回收处理器使用的所有资源。此版本不输出，但从内部处理器列表中删除处理器，内部处理器在 shutdown() 被调用时关闭。子类应确保从重写的 close() 方法中调用此方法。

handle(record): 经已添加到处理器的过滤器过滤后，有条件地发出指定的日志记录。用获取/释放 I/O 线程锁包装了记录的实际发出行为。

handleError(record): 调用 emit() 期间遇到异常时，应从处理器中调用此方法。如果模块级属性 raiseExceptions 是 False，则异常将被静默忽略。这是大多数情况下日志系统需要的 —— 大多数用户不会关心日志系统中的错误，他们对应用程序错误更感兴趣。但是，你可以根据需要将其替换为自定义处理器。指定的记录是发生异常时正在处理的记录。（raiseExceptions 的默认值是 True，因为这在开发过程中是比较有用的）。

format(record): 如果设置了格式器则用其对记录进行格式化。否则，使用模块的默认格式器。

emit(record): 执行实际记录给定日志记录所需的操作。这个版本应由子类实现，因此这里直接引发 NotImplementedError 异常。

有关作为标准随附的处理器列表，请参见 logging.handlers。

格式器对象

Formatter 对象拥有以下的属性和方法。一般情况下，它们负责将 LogRecord 转换为可由人或外部系统解释的字符串。基础的 Formatter 允许指定格式字符串。如果未提供任何值，则使用默认值 \'%(message)s\' ，它仅将消息包括在日志记录调用中。要在格式化输出中包含其他信息（如时间戳），请阅读下文。

格式器可以使用格式化字符串来初始化，该字符串利用 LogRecord 的属性 —— 例如上述默认值，用户的消息和参数预先格式化为 LogRecord 的 message 属性后被使用。此格式字符串包含标准的 Python %-s 样式映射键。有关字符串格式的更多信息，请参见 printf 风格的字符串格式化。

LogRecord 属性一节中给出了 LogRecord 中有用的映射键。

class logging.Formatter(fmt=None, datefmt=None, style=\'%\', validate=True)

返回 Formatter 类的新实例。实例将使用整个消息的格式字符串以及消息的日期/时间部分的格式字符串进行初始化。如果未指定 fmt ，则使用 \'%(message)s\'。如果未指定 datefmt，则使用 formatTime() 文档中描述的格式。

style 形参可以是 \'%\', \'\' 或 \'$\' 之一，它决定格式字符串将如何与数据进行合并：使用 %-formatting, str.format() 或是 string.Template。这仅适用于格式字符串 fmt (例如 \'%(message)s\' 或 message)，不适用于传递给 Logger.debug 的实际日志消息等；请参阅生效于整个应用程序的格式化样式了解有关在日志消息中使用 - 和 $-formatting 的更多详情。

在 3.2 版更改: 加入了 style 形参。

在 3.8 版更改: 加入*validate* 参数。不正确或不匹配的样式和格式将引发 ValueError 错误。例如: logging.Formatter(\'%(asctime)s - %(message)s\', style=\'\')。

format(record)

记录的属性字典用作字符串格式化操作的参数。返回结果字符串。在格式化字典之前，需要执行几个准备步骤。使用 msg % args 计算记录的 message 属性。如果格式化字符串包含 \'(asctime)\'，则调用 formatTime() 来格式化事件时间。如果有异常信息，则使用 formatException() 将其格式化并附加到消息中。请注意，格式化的异常信息缓存在属性 exc_text 中。这很有用，因为可以对异常信息进行序列化并通过网络发送，但是如果您有不止一个定制了异常信息格式的 Formatter 子类，则应格外小心。在这种情况下，您必须在格式器完成格式化后清除缓存的值，以便下一个处理事件的格式器不使用缓存的值，而是重新计算它。

如果栈信息可用，它将被添加在异常信息之后，如有必要请使用 formatStack() 来转换它。

formatTime(record, datefmt=None)

此方法应由想要使用格式化时间的格式器中的 format() 调用。可以在格式器中重写此方法以提供任何特定要求，但是基本行为如下：如果指定了 datefmt （字符串），则将其用于 time.strftime() 来格式化记录的创建时间。否则，使用格式 \'%Y-%m-%d %H:%M:%S,uuu\'，其中 uuu 部分是毫秒值，其他字母根据 time.strftime() 文档。这种时间格式的示例为 2003-01-23 00:29:50,411。返回结果字符串。

此函数使用一个用户可配置函数将创建时间转换为元组。默认情况下，使用 time.localtime()；要为特定格式化程序实例更改此项，请将实例的 converter 属性设为具有与 time.localtime() 或 time.gmtime() 相同签名的函数。要为所有格式化程序更改此项，例如当你希望所有日志时间都显示为 GMT，请在 Formatter 类中设置 converter 属性。

在 3.3 版更改: 在之前版本中，默认格式是被硬编码的，例如这个例子: 2010-09-06 22:38:15,292 其中逗号之前的部分由 strptime 格式字符串 (\'%Y-%m-%d %H:%M:%S\') 处理，而逗号之后的部分为毫秒值。因为 strptime 没有表示毫秒的占位符，毫秒值使用了另外的格式字符串来添加 \'%s,%03d\' --- 这两个格式字符串代码都是硬编码在该方法中的。经过修改，这些字符串被定义为类层级的属性，当需要时可以在实例层级上被重载。属性的名称为 default_time_format (用于 strptime 格式字符串) 和 default_msec_format (用于添加毫秒值)。

在 3.9 版更改: default_msec_format 可以为 None。

formatException(exc_info): 将指定的异常信息（由 sys.exc_info() 返回的标准异常元组）格式化为字符串。默认实现只是使用了 traceback.print_exception()。结果字符串将被返回。

formatStack(stack_info): 将指定的堆栈信息（由 traceback.print_stack() 返回的字符串，但移除末尾的换行符）格式化为字符串。默认实现只是返回输入值。

过滤器对象

Filters 可被 Handlers 和 Loggers 用来实现比按层级提供更复杂的过滤操作。基本过滤器类只允许低于日志记录器层级结构中低于特定层级的事件。例如，一个用 \'A.B\' 初始化的过滤器将允许 \'A.B\', \'A.B.C\', \'A.B.C.D\', \'A.B.D\' 等日志记录器所记录的事件。但 \'A.BB\', \'B.A.B\' 等则不允许。如果用空字符串初始化，则所有事件都会通过。

class logging.Filter(name=\'\')

返回一个 Filter 类的实例。如果指定了 name，则它将被用来为日志记录器命名，该类及其子类将通过该过滤器允许指定事件通过。如果 name 为空字符串，则允许所有事件通过。

filter(record): 是否要记录指定的记录？返回零表示否，非零表示是。如果认为合适，则可以通过此方法就地修改记录。

请注意关联到处理器的过滤器会在事件由处理器发出之前被查询，而关联到日志记录器的过滤器则会在有事件被记录的的任何时候（使用 debug(), info() 等等）在将事件发送给处理器之前被查询。这意味着由后代日志记录器生成的事件将不会被父代日志记录器的过滤器设置所过滤，除非该过滤器也已被应用于后代日志记录器。

你实际上不需要子类化 Filter ：你可以传入任何一个包含有相同语义的 filter 方法的实例。

在 3.2 版更改: 你不需要创建专门的 Filter 类，或使用具有 filter 方法的其他类：你可以使用一个函数（或其他可调用对象）作为过滤器。过滤逻辑将检查过滤器对象是否具有 filter 属性：如果有，就会将它当作是 Filter 并调用它的 filter() 方法。在其他情况下，则会将它当作是可调用对象并将记录作为唯一的形参进行调用。返回值应当与 filter() 的返回值相一致。

尽管过滤器主要被用来构造比层级更复杂的规则以过滤记录，但它们可以查看由它们关联的处理器或记录器所处理的每条记录：当你想要执行统计特定记录器或处理器共处理了多少条记录，或是在所处理的 LogRecord 中添加、修改或移除属性这样的任务时该特性将很有用处。显然改变 LogRecord 时需要相当小心，但将上下文信息注入日志确实是被允许的 (参见利用 Filter 传递上下文信息)。

LogRecord 属性

LogRecord 实例是每当有日志被记录时由 Logger 自动创建的，并且可通过 makeLogRecord() 手动创建（例如根据从网络接收的已封存事件创建）。

class logging.LogRecord(name, level, pathname, lineno, msg, args, exc_info, func=None, sinfo=None)

包含与被记录的事件相关的所有信息。

主要信息是在 msg 和 args 中传递的，它们使用 msg % args 组合到一起以创建记录的 message 字段。

参数

name -- 用于记录由此 LogRecord 所表示事件的记录器名称。请注意此名称将始终为该值，即使它可能是由附加到不同（祖先）日志记录器的处理器所发出的。
level -- 以数字表示的日志记录事件层级（如 DEBUG, INFO 等）。请注意这会转换为 LogRecord 的两个属性: levelno 为数字值而 levelname 为对应的层级名称。
pathname -- 进行日志记录调用的文件的完整路径名。
lineno -- 记录调用所在源文件中的行号。
msg -- 事件描述消息，可能为带有可变数据占位符的格式字符串。
args -- 要合并到 msg 参数以获得事件描述的可变数据。
exc_info -- 包含当前异常信息的异常元组，或者如果没有可用异常信息则为 None。
func -- 发起调用日志记录调用的函数或方法名称。
sinfo -- 一个文本字符串，表示当前线程中从堆栈底部直到日志记录调用的堆栈信息。

getMessage(): 在将 LogRecord 实例与任何用户提供的参数合并之后，返回此实例的消息。如果用户提供给日志记录调用的消息参数不是字符串，则会在其上调用 str() 以将它转换为字符串。此方法允许将用户定义的类用作消息，类的 __str__ 方法可以返回要使用的实际格式字符串。

在 3.2 版更改: 通过提供用于创建记录的工厂方法已使得 LogRecord 的创建更易于配置。该工厂方法可使用 python logging 重复写日志问题

集成Log4J日志

logging --- Python 的日志记录工具

python logging 重复写日志问题

python - 日志记录模块(logging)的二次封装

Python Logging - 禁用导入模块的日志记录