如何从 Python Luigi 登录

Posted 2023-03-31

【中文标题】如何从 Python Luigi 登录

【英文标题】：How to log from Python Luigi

【发布时间】：2016-10-18 10:34:58

【问题描述】：

我正在尝试构建一个从 Luigi 记录的策略，以便有一个可配置的输出列表，包括标准输出和自定义文件列表。我希望能够在运行时设置日志记录级别。我们的系统使用 Luigi 从 Jenkins 调用 spark。提前谢谢你。

【参考方案1】：

在任何 Task 类方法中，您都可以：

class Agg(luigi.Task):
  _date = luigi.DateParameter()

  def output(self):
    return luigi.LocalTarget("file_%.txt" % self._date)

  def run(self):
    # Use the luigi-interface to log to console
    logger = logging.getLogger('luigi-interface')
    logger.info("Running --> Agg.Task")

【参考方案2】：

你检查过配置的logging_conf_file参数吗？您可以使用 Python 的标准 logging mechanism 设置有关日志记录的所有配置。

一些例子见：

https://groups.google.com/forum/#!topic/luigi-user/nKJYq_ng5y8 https://groups.google.com/forum/#!topic/luigi-user/N83ZeePuqJk https://github.com/spotify/luigi/issues/1401

【讨论】：

如果您可以提供答案的解决方案而不是指向其他问题页面的链接，那就太好了。其他问题及其内容同样无济于事。