airflow的使用

Posted 2023-03-25

参考技术A

背景 ：由于最近团队内部需要使用airflow调度，故使用进行一系列调度任务。记录一些在使用过程中遇到的问题

airflow 安装完成后，依次通过以下步骤，即可开始使用

参见： https://www.jianshu.com/p/cbff05e3f125

解析：只要看到authentication 很明显，权限问题，但是找不到到底是哪里权限有问题
原因：airflow webServer->Admin->Connections

Airflow 中文文档：使用systemd运行Airflow

Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易，因为systemd可以在失败时重新启动守护进程。 在scripts/systemd目录中，您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system 。 假设Airflow将在airflow:airflow下运行airflow:airflow 。 如果不是（或者如果您在非基于Redhat的系统上运行），则可能需要调整单元文件。

从/etc/sysconfig/airflow获取环境配置。 提供了一个示例文件。 运行调度程序时，请确保在此文件中指定SCHEDULER_RUNS变量。 您也可以在此处定义，例如AIRFLOW_HOME或AIRFLOW_CONFIG 。

阅读全文／改进本文