BigQuery 可查看的最大内容

Posted 2023-03-24

【中文标题】BigQuery 可查看的最大内容

【英文标题】：BigQuery maximum content in view

【发布时间】：2016-04-12 05:36:21

【问题描述】：

当我尝试创建一个查询 600 多个表的视图时，BigQuery 运行了很长时间并且响应是： mk 操作中的 BigQuery 错误：后端错误。

查询本身是这样的： '从 t1,t2,t3......t600 中选择 col1,col2,col3'

【参考方案1】：

我怀疑操作超时。这里的限制是验证视图查询是否可以在单个同步请求（如视图创建）的期限限制内完成。这么多表可能太多了。

一种潜在的解决方法可能是分片该视图：创建较小的视图表，然后创建较小视图集的单个视图。

另一种解决方案是探索您的数据布局。也许您不需要 600 个表来保存您的数据？ BigQuery 团队在 GCP Next 2016 上宣布即将推出按日期进行表分区，因此如果您按天对表进行分片并且需要参考多年的数据，那么很快就会有一个单表解决方案供您使用。