气流元数据库表 dag_run 中的列 end_date 为空

Posted

技术标签:

【中文标题】气流元数据库表 dag_run 中的列 end_date 为空【英文标题】:airflow metabase the column end_date in table dag_run is null 【发布时间】:2018-02-11 02:15:10 【问题描述】:

环境:1.8.2

气流元数据库 表:dag_run 列:结束日期 end_date 列的 99% 值:为空 end_date 列的 1% 值:不为空

问: 为什么?有什么想法/设置可以解决这种情况吗?

【问题讨论】:

【参考方案1】:

看起来代码中只有两个地方设置了 dag 运行结束日期。当 dag 运行 hits the timeout 和 set a dag run to failed/success in the UI 时。

如果您想解决此问题,我会查看 DagRun 类的 update_state 方法,并在运行设置为终止状态时设置结束日期。当然,您应该将您的更改提交到 github 的 PR!

【讨论】:

以上是关于气流元数据库表 dag_run 中的列 end_date 为空的主要内容,如果未能解决你的问题,请参考以下文章

如何查看 Sybase 中的列元数据?

从 jdbc/postgresql 获取新创建表的列元数据

如何将数据帧传递到气流任务的临时表中

同一气流 DAG 中的任务在前一个任务提交之前启动

如何更改pyspark中的列元数据?

优化将BigQuery的数据传输到MongoDB的气流任务