terraform : 到 bigquery 的数据流 pubsubtopics

Posted 2023-03-24

【中文标题】terraform : 到 bigquery 的数据流 pubsubtopics

【英文标题】：terraform : data flow pubsubtopics to bigquery

【发布时间】：2022-01-12 21:07:36

【问题描述】：

我想在 terraform 中为 bigquery 作业创建 pubsub 主题。数据流有这个模板。我没有找到 terraform 示例。您能提供任何示例 terraform 代码吗？

【参考方案1】：

这似乎是您正在寻找的示例：https://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/dataflow_job

【讨论】：

在示例中 template_gcs_path = "gs://my-bucket/templates/template_file"。这是文件夹还是文件？我收到以下错误：错误：googleapi：错误 404：（e1efc97b8bedc6b7）：无法打开模板文件：gs://gcp-ent-property-ds-dev-multisource/templates/template_file., notFound I

以“gs://”开头的路径是 Cloud Storage (cloud.google.com/storage) 存储桶。这里的 template_gcs_path 用于数据流模板 (cloud.google.com/dataflow/docs/concepts/dataflow-templates)。我认为经典模板应该是“google_dataflow_job”。另一个“google_dataflow_flex_template_job”用于弹性模板。它们是构建 Beam 管道和提交 Dataflow 作业作为模板的两种方式。