apache气流的sql查询

Posted 2023-03-25

【中文标题】apache气流的sql查询

【英文标题】：sql query for apache airflow

【发布时间】：2018-01-24 05:56:50

【问题描述】：

我想直接查询 apache 气流数据库以获取失败任务的报告，但我正在努力在数据库中进行适当的连接。

我想要的是由以下列组成的输出

dag_run.dag_id dag_run.run_id dag_run.state dag_run.conf task_instance.task_id task_id.state

基本上是所有 dag_runs 及其任务状态的 sql 转储；类似于“图表”视图，但都是 run_id。

谢谢！

【参考方案1】：

这是有关失败任务信息的查询。

SELECT dr.dag_id, dr.run_id, dr.state, dr.conf, ti.task_id, ti.state
FROM dag_run as dr
INNER JOIN
(
    SELECT dag_id, task_id, state, execution_date
    FROM task_instance
    WHERE state = 'failed'
) as ti
ON dr.dag_id = ti.dag_id AND dr.execution_date = ti.execution_date

我不知道你想要什么，但是你可以使用 DAG 的on_failure_callback 参数来设置它在它失败时做一些事情。我推荐使用这种方法。