Google Big Query:确定无效视图(例如 dryRun & list)

Posted

技术标签:

【中文标题】Google Big Query:确定无效视图(例如 dryRun & list)【英文标题】:Google Big Query: Determine invalid views (e.g. dryRun & list) 【发布时间】:2020-02-07 15:25:19 【问题描述】:

我们在 Google Big Query 的众多项目和数据集中拥有多个视图。有没有办法列出所有无效视图?例如。 “重新验证”所有视图,然后获取列表?

虽然它可能无法涵盖所有​​问题,但我认为我可以使用 dryRun 参数执行视图来确定其状态 (https://cloud.google.com/bigquery/docs/dry-run-queries)。但在这种情况下,我想确定所有现有视图(在所有项目中,或者 - 因为这可能是一个坏主意 - 至少在一个项目中),然后使用 dryRun 参数触发视图并将结果存储在某处/不知何故。

感谢提示如何做到这一点。

问候, HerrB92

【问题讨论】:

【参考方案1】:

我不知道有任何内置工具可以做到这一点,但它应该可以通过一些脚本来实现。

bq ls 命令将返回数据集列表,然后对于每个数据集,您可以继续运行bq ls <dataset>(或使用SELECT * FROM dataset.INFORMATION_SCHEMA.TABLES WHERE TABLE_TYPE = 'VIEW'),然后使用--dry_run 标志运行每个视图。

【讨论】:

以上是关于Google Big Query:确定无效视图(例如 dryRun & list)的主要内容,如果未能解决你的问题,请参考以下文章

在 Google Big Query 中使用 bq 命令行执行查询

如何在 google Big Query 上添加页面浏览量维度?

如何从 Google App Script 中的文件运行保存的 Big Query 脚本? [关闭]

Google Big Query Error: CSV table 遇到太多错误,放弃。行:1 错误:1

将Big Query中的数据自动导入Google表格?

Google Big Query 中的功能