BigQuery 是不是支持批量导入模板表？

Posted 2023-03-24

【中文标题】BigQuery 是不是支持批量导入模板表？

【英文标题】：Are template tables supported in BigQuery for bulk import?BigQuery 是否支持批量导入模板表？

【发布时间】：2016-01-07 19:30:50

【问题描述】：

loading data into BigQuery 有几个选项：例如bulk import from GCS、streaming 等。

在许多情况下，需要对正在加载的数据进行分片，例如按日期或任意键，以生成查询速度更快的较小表，或绕过每个表的导入配额。

最近，引入了一个新功能 template tables，它使这种分片非常容易进行流式传输：您只需在每条记录的基础上指定要流式传输到的表名称的后缀。

此 BigQuery 功能是否可用于其他导入模式，最重要的是可用于从 GCS 导入？这对于以分片方式将大量数据导入 BigQuery 非常有用，这是一个常见的用例，例如将 Cloud Dataflow 用于批处理作业时。

【参考方案1】：

不，模板表目前不可用于批量导入；理由是，由于批量导入会产生副作用，因此没有必要这样做。

对于流式导入，语义有点棘手。由于流式插入请求未指定架构，因此如果目标表不存在，BigQuery 不知道所需的表架构应该是什么。模板表允许流系统从其他地方查找所需的模式。

但是，对于批量加载，架构通常作为请求的一部分包含在内，或者可以从数据中推断出来，因此模板表没有多大意义。

综上所述，我们很清楚管理多个分表不方便，希望尽快做好一些改进。