从一个 Dag 获取呈现的查询到另一个 Dag

Posted 2023-03-24

【中文标题】从一个 Dag 获取呈现的查询到另一个 Dag

【英文标题】：fetch the rendered query from one Dag to another Dag

【发布时间】：2021-12-31 04:31:28

【问题描述】：

我们在气流中有两个 dag，dag A 有一些参数化的 SQL 查询，这些查询在 BQ 中使用 BigQuery 运算符执行。我想编写 dag B，它可以获取 dag A 的呈现查询。 有什么指导吗？

【问题讨论】：

能否请您发布您的代码，您尝试过的内容和预期的输出？

【参考方案1】：

查询可以参数化的事实表明它是模板化字段之一。这些总是在执行任务时呈现，并且它们的值保存在rendered_task_instance_fields 表中（这里是SQLAlchemy model）。

因此您可以在 DAG B 中查询此表以获取 DAG A 中任务的最后一个值。