导入气流插件

Posted 2023-03-25

【中文标题】导入气流插件

【英文标题】：Importing Airflow Plugin

【发布时间】：2019-04-18 10:18:37

【问题描述】：

我目前正在尝试使用 Airflow 将数据从 Salesforce 推送到 BigQuery。我是气流新手，目前我正在关注此链接：

https://github.com/TheF1rstPancake/airflow-salesforce

当我尝试导入插件时 from airflow.operators import SalesforceToFileOperator,

我收到声明ImportError: cannot import name 'SalesforceToFileOperator'的错误消息

如何在 Airflow 上导入此插件？

当前目录结构

DAGS

  salesforce_bg.py

插件

airflow-salesforce

      __init__.py
      hooks
      operators

我做错了什么？

【参考方案1】：

来自 Airflow 官方文档：here

插件文件夹中的 python 模块被导入，钩子、操作符、传感器、宏、执行器和 Web 视图被集成到 Airflow 的主要集合中并可供使用。

因此，您只需将 salesforce_bg.py 放入 Airflow 服务器的 /plugins 文件夹即可。

【讨论】：

我应该把其他文件夹移到哪里？

你只需要两件事：自定义操作符进入/plugins，如上所示，将你在airflow.cfg中的dags_folder条目指向你的DAGS所在的文件夹。