Bigquery：数据集中的大量表会影响性能吗？

Posted 2023-03-24

【中文标题】Bigquery：数据集中的大量表会影响性能吗？

【英文标题】：Bigquery: Does huge amount of tables in a dataset impact performance?

【发布时间】：2015-12-02 05:09:51

【问题描述】：

我目前正在使用大查询来存储用户信息，以针对大量日志数据计算聚合结果。但是由于无法修改数据。为了克服这个问题，我计划将每个用户记录存储在单独的表中。我了解 bigquery 支持从多个表中查询，我可以使用这些表获取所有信息。我对这里的疑问是

与将所有用户存储在单个表中相比，随着用户数量的增长，性能会下降。 如果 biq 查询中每个数据集的表数有任何限制

提前致谢

【参考方案1】：

据我所知 - 数据集中的表格数量没有硬性限制。 同时 - 原生 BQ UI 限制数据集中显示的前 10,000 个表。

需要考虑的其他限制（仅提及）： * 每日更新限制：每桌每天 1,000 次更新； * 查询（包括引用的视图）最多可以引用 1,000 个表，不能更多； * 查询中涉及的每个附加表（包含数百个表）都会对性能产生相当大的影响。 * 即使每个表足够小 - 它仍然会以 10MB 的最低价格收费（即使它只有几 KB）

不知道您的确切情况不允许提出一些建议，但至少您已经回答了问题中的这些项目。

总的来说，每个用户都有一张桌子的想法对我来说听起来不太好

【讨论】：

很好的答案，另一条评论...如果您在包含大量表的数据集中使用 TABLE_QUERY 或 TABLE_DATE_RANGE，您将获得较差的性能。