我可以以编程方式检查 google bigquery 查询成本吗?
Posted
技术标签:
【中文标题】我可以以编程方式检查 google bigquery 查询成本吗?【英文标题】:Can I check a google bigquery query cost programmatically? 【发布时间】:2017-09-05 08:12:52 【问题描述】:只有当它低于某个成本估计值时,我才想从 python 运行 bigquery 查询。 有没有办法在执行查询之前以编程方式检查查询的估计成本,就像 Web UI(见附图)一样?
【问题讨论】:
【参考方案1】:是的,您可以使用dryRun
标志。这将返回totalBytesProcessed
,即执行查询时将处理的数据量。
https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs#configuration.dryRun
【讨论】:
【参考方案2】:只有当它低于某个成本估算时,我才想从 python 运行 bigquery 查询
首先,请注意 - BigQuery UI 实际上使用 DryRun,它仅估计 Total Bytes Processed
留下另一个重要因素 Billing Tier
未知。
使用 DryRun 当然有用,并且在某些情况下可以提供帮助!
同时,我可以建议使用以下两个属性
configuration.query.maximumBillingTier
和configuration.query.maximumBytesBilled
它们分别限制了计费层和为作业计费的字节
资源使用量超过最大层数或计费字节数超过最大字节数的查询将失败 (without incurring a charge
)
【讨论】:
以上是关于我可以以编程方式检查 google bigquery 查询成本吗?的主要内容,如果未能解决你的问题,请参考以下文章
我可以通过 Google Chrome 扩展程序以编程方式打开 devtools 吗?
以编程方式在 Google Colab 中运行所有单元格命令