自动化谷歌云 AutoML 管道？

Posted 2023-03-29

【中文标题】自动化谷歌云 AutoML 管道？

【英文标题】：Automating the google cloud AutoML pipeline?

【发布时间】：2020-01-14 12:37:13

【问题描述】：

我正在尝试使用 Google AutoML 自然语言来训练自定义文本多标签分类器。我可以手动创建数据集，从 Google Storage 导入数据并训练模型。但是，我想自动化整个过程。

我目前的做法如下：

我已经创建了谷歌存储桶来存储带注释的数据 我启动 Cloud Function 来创建数据集，将数据导入数据集并训练模型。

但是，将数据导入数据集需要超过 9 分钟，这是 Google Cloud Function 的最大超时时间，并且从未达到训练模型阶段。

其中一个解决方案可能是在数据导入完成时触发触发器后启动另一个 Cloud Function，以开始训练模型。我检查了 Google AutoML 的文档，似乎没有办法做到这一点。

还有其他方法可以实现吗？

非常感谢您的帮助。谢谢。

【参考方案1】：

实现这一点的另一种方法是使用 AppEngine，以无服务器方式并能够运行较长的进程。

使用您可以在端点上触发的代码部署 AppEngine 标准 设置Cloud Scheduler that trigger your appengine endpoint。将attemptDeadline 设置为您想要的最大超时时间（不能超过 24 小时） 如果您的触发器由事件触发，请将函数插入事件并创建一个 Cloud Task on the endpoint to trigger 和 dispatchDeadline 到您想要的最大超时时间（不能超过 24 小时）