apache气流中BeamRunPythonPipelineOperator和DataFlowPythonOperator的区别

Posted 2023-03-31

【中文标题】apache气流中BeamRunPythonPipelineOperator和DataFlowPythonOperator的区别

【英文标题】：Difference between BeamRunPythonPipelineOperator and DataFlowPythonOperator in apache airflow

【发布时间】：2022-01-21 23:19:43

【问题描述】：

我正在尝试在 Airflow 中运行一个执行数据流作业的作业。我意识到有 2 个运算符，即 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator，这两个运算符都可以将作业提交到数据流，但我担心它们之间的区别。 它们之间有什么区别吗？请帮我。任何帮助将不胜感激？

【参考方案1】：

一般：

DataFlowPythonOperator 类已弃用，建议改用DataflowCreatePythonJobOperator。 DataflowCreatePythonJobOperator 类已弃用，建议改用BeamRunPythonPipelineOperator。