谷歌云存储/大查询成本估算

Posted 2023-03-29

【中文标题】谷歌云存储/大查询成本估算

【英文标题】：Google Cloud Storage/Big Query cost estimation

【发布时间】：2017-11-16 08:58:07

【问题描述】：

我正在尝试估算我的 Google Cloud 计划的每月总费用。

我的程序所做的是将输入文件从 Amazon S3 服务器加载到 Google 的云存储平台中。然后，它使用这些导入的数据在 Google BigQuery 中创建一个表，然后将创建的表以 JSON 格式导出回 Cloud Storage。

假设我有一个大小为 50 GB 的文件，它驻留在 Amazon S3 中。

我的程序会将这个 50 GB 的数据文件导入 Cloud Storage，将其加载到 BigQuery 中的表中，最后将其导出回 Cloud Storage。

我估计 50 GB 的文件包含 600,000,000 (600M) 行。

在Google Price Calculator进行云存储：

我已将“存储数据”字段设置为 100 GB（50 GB 输入文件，50 GB 导出文件）。

我已将“实体读取”字段（假设每个实体是我的表中的一行）设置为 600,000,000（必须执行读取操作才能将数据加载到 BigQuery）

最后，我将“实体写入”字段设置为 1,200,000,000（从 S3 将数据导入 Cloud Storage 时执行一次写入操作，从 BigQuery 导出数据时执行另一次写入操作）

这为我提供了每月 2,530.52 美元的成本估算，我发现这对于 50 GB 数据文件来说相当高。

我想知道的是我的估计值是否正确？

除了云存储费用之外，我的计划还会产生哪些其他费用？ （因为我也在使用 Google Cloud Transfer 服务）

【问题讨论】：

感谢您的信息。

【参考方案1】：

不确定您填写的是哪个页面，但 BigQuery 页面上没有 Entity Reads 之类的字段。

计算如下：

Storage 100 GB
Streaming Inserts 0 MB
Queries 10 TB
Total Estimated Cost: $47.00 per 1 month 

https://cloud.google.com/products/calculator/#id=b395df1a-1fa8-4e7d-9dce-8a1a578916a8

请注意，从/到文件加载/导出是免费的，您只需要支付文件的存储费用。

【讨论】：

即使我用于填充 BigQuery 表的 50 GB 数据文件驻留在 Google Cloud Storage 上，当数据导入表时，BigQuery 是否也有单独的存储费用？我已经把计算值放在了云存储计算器中。

是的，BigQuery 表也有存储空间 + GCS 存储空间

那么如果我将数据存储在 GCS 中并将其导入 BigQuery，我将不得不为 GCS 和 BigQuery 中的数据存储付费？

如果您在导入后将文件保留在 GCS 中，是的（您应该在完成后将其删除）。但是，如果您只保留它直到进程运行，您将按比例支付 GCS 存储成本。