气流.providers 和气流.contrib 之间的差异
Posted
技术标签:
【中文标题】气流.providers 和气流.contrib 之间的差异【英文标题】:diff between airflow.providers and airflow.contrib 【发布时间】:2021-12-06 09:02:33 【问题描述】:我是 python 和气流的新手。试图使用 Bigquery 钩子运算符并知道该钩子有两个包。 airflow.providers.google.cloud.hooks.bigquery 气流.contrib.hooks.bigquery_hook 。那么它们之间有什么区别
【问题讨论】:
【参考方案1】:contrib
已弃用(请参阅source code)。您应该始终使用providers
。
如果您检查您的日志,您会在从 contrib
导入时看到弃用警告。
这是因为之前与 BigQuery 等服务的集成与 Airflow 核心耦合。这意味着新版本仅在 Airflow 核心版本中频繁出现。为了避免 Airflow 将每个服务解耦到它自己的提供程序包,该包是单独发布的。
【讨论】:
以上是关于气流.providers 和气流.contrib 之间的差异的主要内容,如果未能解决你的问题,请参考以下文章
apache气流中BeamRunPythonPipelineOperator和DataFlowPythonOperator的区别