是否可以在 Dataflow 中暂存模型文件？

Posted 2023-02-19

【中文标题】是否可以在 Dataflow 中暂存模型文件？

【英文标题】：Is it possible to stage the model files in Dataflow?

【发布时间】：2021-10-18 18:25:00

【问题描述】：

我在部署 Dataflow 管道时遇到了困难。感谢 GCP 文档。以下是我想要实现的目标。 我有 4 个深度学习模型（每个 1 GB 的二进制文件）。我想从所有 4 个模型中获得预测。所以我搅拌桶里的所有 4 个模型。在我的管道中，我这样做了。

download_blob(......, destination_file_name = 'model.bin')            
fasttext.load_model('model.bin')  

        

它工作正常，但我有以下顾虑。

每次创建作业时，它都会下载这些文件，这将消耗大量时间。如果我调用 100 个作业，那么模型将被下载 100 次。有什么办法可以避免吗？ 有什么方法可以将这些文件暂存到某个位置，这样即使我触发作业 100 次，模型也只会下载一次？

【参考方案1】：

如GCP Dataflow Computation Graph and Job Execution 所述，您可以将模型数据放在custom container 中。当然，容器本身仍然必须在工人身上上演。

您还可以考虑单个管道（如果事先不知道输入，则可能是流式传输）是否比多次连续运行更能满足您的需求。

【讨论】：

谢谢！将看看它并分享我的发现。我也对在暂存位置加载加载模型文件感到好奇。这有什么帮助吗？ ***.com/questions/30516965/…

暂存位置仍然是 GCS。