通过 python SDK 创建 GCP Dataflow 模板问题

Posted 2023-03-31

【中文标题】通过 python SDK 创建 GCP Dataflow 模板问题

【英文标题】：GCP Dataflow template creation issue through python SDK

【发布时间】：2020-10-04 19:43:22

【问题描述】：

我的模板命令是 python gcp_parquet.py --runner DataflowRunner --project project_ID --staging_location STAGING_LOCATION --temp_location TEMP_LOCATION --template_location TEMPLATE_LOCATION --experiment=use_beam_bq_sink --region us-east1

我收到以下错误： 例外：Dataflow 仅支持 Python 版本 2 和 3.5+，得到：(3, 8)

我在虚拟环境中使用 python 3.8.3。

请帮我解决这个问题。

【问题讨论】：

在终端输入 python -V 得到一个 python 版本

是3.8.3版本

【参考方案1】：

Beam Python SDK 似乎还不支持 Python 3.8。

抛出错误的代码是here。

【讨论】：

这是正确的。即将发布的 2.23.0 版本预计将添加 Python 3.8 支持。