Airflow 中文文档:写日志
Posted wizardforcel
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Airflow 中文文档:写日志相关的知识,希望对你有一定的参考价值。
在本地编写日志
用户可以使用base_log_folder
设置在airflow.cfg
指定日志文件夹。 默认情况下,它位于AIRFLOW_HOME
目录中。
此外,用户可以提供远程位置,以便在云存储中存储日志和日志备份。
在Airflow Web UI中,本地日志优先于远程日志。 如果找不到或访问本地日志,将显示远程日志。 请注意,只有在任务完成(包括失败)后才会将日志发送到远程存储。 换句话说,运行任务的远程日志不可用。 日志作为{dag_id}/{task_id}/{execution_date}/{try_number}.log
存储在日志文件夹中。
将日志写入Amazon S3
在你开始之前
远程日志记录使用现有的Airflow连接来读取/写入日志。 如果没有正确设置连接,则会失败。
启用远程日志记录
要启用此功能,必须按照此示例配置airflow.cfg
:
以上是关于Airflow 中文文档:写日志的主要内容,如果未能解决你的问题,请参考以下文章
入门Airflow 使用Docker在本地快速搭建Airflow
入门Airflow 使用Docker在本地快速搭建Airflow