您可以通过 bigquery API 在单个请求中将数据导入多个表吗?

Posted

技术标签:

【中文标题】您可以通过 bigquery API 在单个请求中将数据导入多个表吗?【英文标题】:Can you import data into multiple tables in a single request via the bigquery API? 【发布时间】:2012-08-06 00:38:10 【问题描述】:

我已阅读有关构建多部分请求的文档。是否可以通过在同一请求正文中指定多个多部分边界来发送多个负载规范及其有效负载?如果是,是否计入每个表或每个请求的导入配额?

【问题讨论】:

【参考方案1】:

不...每个导入请求只能导入一个表(当然,您可以通过创建多个请求并行执行多个导入)。

【讨论】:

谢谢乔丹。这将是一个有趣的用例,因为您可以在 saas 应用程序中为每个客户端构建和销毁数据库。您仍然可以,但它不会超过每天 1000 个导入请求的配额,除非每次导入可以更新多个表。当然,我这么说是在没有丝毫线索的情况下,它会在 bigquery 方面采取什么措施。 1k 导入/天配额主要是为了防止人们执行大量微小的附加操作,这会浪费大量的 bigquery 资源。如果您有需要更多导入的实际用例,请在此处填写表格:developers.google.com/bigquery/docs/feedback 有人可以提供帮助。 再次感谢乔丹。我填写了表格并填写了以下内容:我希望能够为我的每个 SaaS 应用程序用户创建单独的表,以使事情更易于维护。例如,我希望每个帐户都有一个表,因此当我想删除或重建该帐户的数据时,它是可管理的。但目前,我每天可以进口的数量有 1000 个限制。这意味着如果我有 1000 个用户,我每天最多只能更新他们的每个表一次。这显然不能扩展。谢谢。 @JohnWheeler 您是否为您的用例找到了解决方案?我正在计划类似的,看到 1500/天的限制是一个障碍。你能分享一下你是怎么解决的吗?

以上是关于您可以通过 bigquery API 在单个请求中将数据导入多个表吗?的主要内容,如果未能解决你的问题,请参考以下文章

我们可以请求从 Google Cloud Storage 到 BigQuery 的多少并发上传?

在bigquery中以编程方式更新/插入数据

在 bigquery 中以编程方式更新/插入数据

流式 BigQuery API

从 BigQuery 中的单个用户事件流构建会话

您可以 SQL 填充 BigQuery 表并在同一个 API 调用中设置表列模式吗?