Airflow 中文文档:使用测试模式配置
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Airflow 中文文档:使用测试模式配置相关的知识,希望对你有一定的参考价值。
参考技术A Airflow具有一组固定的“测试模式”配置选项。 您可以随时通过调用 airflow.configuration.load_test_config() 来加载它们(注意此操作不可逆!)。 但是,在您有机会调用load_test_config()之前,会加载一些选项(如DAG_FOLDER)。 为了急切加载测试配置,请在airflow.cfg中设置test_mode:由于Airflow的自动环境变量扩展(请参阅 设置配置选项 ),您还可以设置env var AIRFLOW__CORE__UNIT_TEST_MODE 以临时覆盖airflow.cfg。
Airflow 中文文档:使用systemd运行Airflow
Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易,因为systemd可以在失败时重新启动守护进程。 在scripts/systemd
目录中,您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system
。 假设Airflow将在airflow:airflow
下运行airflow:airflow
。 如果不是(或者如果您在非基于Redhat的系统上运行),则可能需要调整单元文件。
从/etc/sysconfig/airflow
获取环境配置。 提供了一个示例文件。 运行调度程序时,请确保在此文件中指定SCHEDULER_RUNS
变量。 您也可以在此处定义,例如AIRFLOW_HOME
或AIRFLOW_CONFIG
。
以上是关于Airflow 中文文档:使用测试模式配置的主要内容,如果未能解决你的问题,请参考以下文章