将结果保存到目标表成本

Posted 2021-04-11

我想知道什么样的插入将大型查询（具有多个连接和联合）的结果保存到目标（日分区）表。当前在GC VM上，我执行这些查询，将结果保存在本地临时CSV中，并将这些CSV上载到各自的表中。

这是相当无效的（没有尽可能快，并且使用了大量的VM资源）。但是，它很便宜，因为CSV加载作业是免费的。如果我要将查询结果保存到目标表中（附加到已包含100M +行的旧数据），是否会产生插入流式传输成本？这是我想要避免的，因为我们每天都会添加大量数据，所以$ 0.02 / MB可能会有很大的变化。

谢谢你的帮助。

答案

在Bigquery内部运行查询并保存到目标表会产生结果

• 查询价格（无论如何你支付）
• 存储价格（新数据累积到表中 - 选择分区）
• 没有流媒体费用

如果您的数据超出BQ，则最终将数据添加到BQ

• 如果你使用负载（这是免费的）
• 流插入（具有成本组件）
• 存储新数据，您添加的表

另一答案

我想知道什么样的插入将大型查询（具有多个连接和联合）的结果保存到目标（日分区）表。 ...如果我要将查询结果保存到目标表中（附加到已包含100M +行的旧数据），是否会产生插入流式传输成本？

为查询作业设置目标表是将查询结果添加到现有表的最有效方法。它不会产生任何与流媒体相关的额外费用，因为这里根本没有流媒体发生