放入并行管道时未在 DAG 中显示的任务

Posted 2023-03-25

【中文标题】放入并行管道时未在 DAG 中显示的任务

【英文标题】：Tasks not shown in DAG when put in parallel pipeline

【发布时间】：2019-11-15 06:15:52

【问题描述】：

我有四个操作来使用 Airflow 将 mysql 的表提取到 BigQuery 中。我将我的任务分为两个步骤，从 MySQL 提取到 GCS，然后将 GCS Json 加载到每个表的 BQ 中（我有四个来自 MySQL 的表，所以它将是 8 个任务）。

我的任务是这样的：

[
task_extract_table_A>>task_load_table_A,
task_extract_table_B>>task_load_table_B,
task_extract_table_C>>task_load_table_C,
task_extract_table_D>>task_load_table_D
]

但是，在我的仪表板中，只显示了表 A、B 和 C 的提取和加载，而不显示表 D。有人知道这个管道发生了什么吗？

我对每个表都使用相同的 DAG 声明。

【参考方案1】：

你不需要在它上面加上方括号[]。只需使用以下内容：

task_extract_table_A>>task_load_table_A,
task_extract_table_B>>task_load_table_B,
task_extract_table_C>>task_load_table_C,
task_extract_table_D>>task_load_table_D