我可以以编程方式检查 google bigquery 查询成本吗?

Posted

技术标签:

【中文标题】我可以以编程方式检查 google bigquery 查询成本吗?【英文标题】:Can I check a google bigquery query cost programmatically? 【发布时间】:2017-09-05 08:12:52 【问题描述】:

只有当它低于某个成本估计值时,我才想从 python 运行 bigquery 查询。 有没有办法在执行查询之前以编程方式检查查询的估计成本,就像 Web UI(见附图)一样?

【问题讨论】:

【参考方案1】:

是的,您可以使用dryRun 标志。这将返回totalBytesProcessed,即执行查询时将处理的数据量。

https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs#configuration.dryRun

【讨论】:

【参考方案2】:

只有当它低于某个成本估算时,我才想从 python 运行 bigquery 查询

首先,请注意 - BigQuery UI 实际上使用 DryRun,它仅估计 Total Bytes Processed 留下另一个重要因素 Billing Tier 未知。 使用 DryRun 当然有用,并且在某些情况下可以提供帮助!

同时,我可以建议使用以下两个属性

configuration.query.maximumBillingTierconfiguration.query.maximumBytesBilled

它们分别限制了计费层和为作业计费的字节 资源使用量超过最大层数或计费字节数超过最大字节数的查询将失败 (without incurring a charge)

【讨论】:

以上是关于我可以以编程方式检查 google bigquery 查询成本吗?的主要内容,如果未能解决你的问题,请参考以下文章

可以以编程方式更新 Google Play 服务吗?

我可以通过 Google Chrome 扩展程序以编程方式打开 devtools 吗?

以编程方式在 Google Colab 中运行所有单元格命令

ImageToggleButton,我可以检查“onCheckedChanged”是由用户调用还是以编程方式调用?

以编程方式获取 Google Adwords 开发者令牌

如何以编程方式将 Google Sheet 脚本发布/部署为 API 可执行文件?