谷歌云构建python apache Beam数据流yaml文件

Posted 2023-02-16

【中文标题】谷歌云构建python apache Beam数据流yaml文件

【英文标题】：Google cloud build python apache beam data flow yaml file

【发布时间】：2021-05-16 03:35:05

【问题描述】：

我正在尝试在谷歌云构建中部署一个内置 python 的 apache 束数据流管道。我没有找到有关构建 cloud build.YAML 文件的任何具体细节。

我找到了一个链接dataflow-ci-cd-with-cloudbuild，但这似乎是基于 JAVA 的，也尝试过，但没有工作，因为我的起点是 main.py

【问题讨论】：

您想从 CloudBuild 运行您的数据流吗？或者在 Cloud Build 运行时运行光束管道？您能否也分享一下您今天如何在没有云构建的情况下运行数据流？

目的是自动创建模板。以上步骤取自medium.com/@zhongchen/…。似乎需要自己的 docker 镜像来构建这个github.com/GoogleCloudPlatform/cloud-builders-community/tree/…

如果没有 Cloud Build，您今天过得如何？

使用来自这里的 yaml 文件 medium.com/@zhongchen/…

完成云构建

【参考方案1】：

它需要一个容器注册表。下面的链接解释了构建和部署的步骤

Github link

【讨论】：

@guillaume blaquiere 答案链接中提到的步骤