Airflow 中文文档:初始化数据库后端

Posted wizardforcel

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Airflow 中文文档:初始化数据库后端相关的知识,希望对你有一定的参考价值。

如果您想对Airflow进行真正的试驾,您应该考虑设置一个真正的数据库后端并切换到LocalExecutor。

由于Airflow是使用优秀的SqlAlchemy库与其元数据进行交互而构建的,因此您应该能够使用任何支持作为SqlAlchemy后端的数据库后端。 我们建议使用mysql或Postgres 。

注意

我们依赖更严格的MySQL SQL设置来获得合理的默认值。 确保在<cite>[mysqld]</cite>下的my.cnf中指定了<cite>explicit_defaults_for_timestamp = 1</cite>

注意

如果您决定使用Postgres ,我们建议您使用psycopg2驱动程序并在SqlAlchemy连接字符串中指定它。 另请注意,由于SqlAlchemy没有公开在Postgres连接URI中定位特定模式的方法,因此您可能希望使用类似于ALTER ROLE username SET search_path = airflow, foobar;的命令为您的角色设置默认模式ALTER ROLE username SET search_path = airflow, foobar;

将数据库设置为托管Airflow后,您需要更改配置文件$AIRFLOW_HOME/airflow.cfg的SqlAlchemy连接字符串。 然后,您还应该将“executor”设置更改为使用“LocalExecutor”,这是一个可以在本地并行化任务实例的执行程序。

 # initialize the database
airflow initdb

阅读全文/改进本文

以上是关于Airflow 中文文档:初始化数据库后端的主要内容,如果未能解决你的问题,请参考以下文章

Airflow 中文文档:用Celery扩大规模

(Django)气流中的 ORM - 有可能吗?

是否有 Airflow 日志文件返回代码的文档?

使用 Azure SQL 服务器作为后端数据库运行 Apache Airflow

Airflow 中文文档:数据分析

Airflow 中文文档:管理连接