从 Kubernetes pod 直接将数据写入 Google Cloud Storage

Posted 2023-02-16

【中文标题】从 Kubernetes pod 直接将数据写入 Google Cloud Storage

【英文标题】：Writing data directly to Google Cloud Storage from Kubernetes pods

【发布时间】：2018-11-27 06:17:16

【问题描述】：

由于成本高昂，我们正在考虑 PubSub 的替代方案。对于我们的一些低价值和大容量数据，PubSub 可能会变得非常昂贵。

使用 PubSub 的计划：

在 Kubernetes pod 中运行服务 服务将数据推送到 PubSub 我们添加了一个 PubSub 订阅者，它从 PubSub 读取数据并将其写入 GCS

数据的价值非常低。因此，即使我们丢失了其中的一小部分（由于 pod 重新启动等），这也不应该成为问题。

是否可以将数据直接写入 GCS，或者是否有其他更便宜的替代方案？

编辑：澄清一下，我们不需要实时写入数据。我们可以每隔几分钟左右分批编写。

【问题讨论】：

必须是桶吗？不能是永久磁盘吗？我认为对于存储桶，您需要使用 gcefuse，它一直处于测试阶段。

@suren 恐怕它必须是一个桶。也许我们可以写入本地文件，然后每隔几分钟将其推送到存储桶中？

一个桶是可行的。根据我的经验， gcefuse 会引起一些麻烦。我只是想看看是否可以选择替代方案。但如果不是……

@suren gcefuse 会导致什么问题？有哪些替代方案？我想我们可以只在本地写入文件，然后每 1 分钟将其推送到 GCS 一个

我看到了身份验证问题和安装问题。我不记得它到底是什么。但这个产品没有取得进展，大约 2 年后仍处于测试阶段，这让我很担心。

【参考方案1】：

您可以通过使用 gcefuse 挂载数据直接将数据写入存储桶。您可以按照here 的说明了解如何在 GKE 中使用 gcefuse。

【讨论】：

gcefuse 现在是名称gcsfuse。