Airflow 中文文档:使用测试模式配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Airflow 中文文档:使用测试模式配置相关的知识,希望对你有一定的参考价值。

参考技术A Airflow具有一组固定的“测试模式”配置选项。 您可以随时通过调用 airflow.configuration.load_test_config() 来加载它们(注意此操作不可逆!)。 但是,在您有机会调用load_test_config()之前,会加载一些选项(如DAG_FOLDER)。 为了急切加载测试配置,请在airflow.cfg中设置test_mode:

由于Airflow的自动环境变量扩展(请参阅 设置配置选项 ),您还可以设置env var AIRFLOW__CORE__UNIT_TEST_MODE 以临时覆盖airflow.cfg。

Airflow 中文文档:使用systemd运行Airflow

Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易,因为systemd可以在失败时重新启动守护进程。 在scripts/systemd目录中,您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system 。 假设Airflow将在airflow:airflow下运行airflow:airflow 。 如果不是(或者如果您在非基于Redhat的系统上运行),则可能需要调整单元文件。

/etc/sysconfig/airflow获取环境配置。 提供了一个示例文件。 运行调度程序时,请确保在此文件中指定SCHEDULER_RUNS变量。 您也可以在此处定义,例如AIRFLOW_HOMEAIRFLOW_CONFIG 。

阅读全文/改进本文

以上是关于Airflow 中文文档:使用测试模式配置的主要内容,如果未能解决你的问题,请参考以下文章

Airflow 中文文档:使用systemd运行Airflow

Airflow 中文文档:设置配置选项

Airflow 中文文档:使用Mesos扩展(社区贡献)

Airflow 中文文档:安装

Airflow 中文文档:使用操作器

Airflow 中文文档:数据分析