气流.providers 和气流.contrib 之间的差异

Posted

技术标签:

【中文标题】气流.providers 和气流.contrib 之间的差异【英文标题】:diff between airflow.providers and airflow.contrib 【发布时间】:2021-12-06 09:02:33 【问题描述】:

我是 python 和气流的新手。试图使用 Bigquery 钩子运算符并知道该钩子有两个包。 airflow.providers.google.cloud.hooks.bigquery 气流.contrib.hooks.bigquery_hook 。那么它们之间有什么区别

【问题讨论】:

【参考方案1】:

contrib 已弃用(请参阅source code)。您应该始终使用providers。 如果您检查您的日志,您会在从 contrib 导入时看到弃用警告。

这是因为之前与 BigQuery 等服务的集成与 Airflow 核心耦合。这意味着新版本仅在 Airflow 核心版本中频繁出现。为了避免 Airflow 将每个服务解耦到它自己的提供程序包,该包是单独发布的。

【讨论】:

以上是关于气流.providers 和气流.contrib 之间的差异的主要内容,如果未能解决你的问题,请参考以下文章

气流:一次运行气流子项的模式

部署气流代码库

运营商之间的气流和数据传输

气流和 Kubeflow 管道有啥区别?

气流回填不起作用

apache气流中BeamRunPythonPipelineOperator和DataFlowPythonOperator的区别