将超过 7 天的数据插入分区 BigQuery 表

Posted 2023-03-24

【中文标题】将超过 7 天的数据插入分区 BigQuery 表

【英文标题】：Insert older than 7 days data into partitioned BigQuery tables

【发布时间】：2018-10-19 19:49:18

【问题描述】：

documentation 证明可以将超过 7 天（且不超过 1 年）的数据插入到分区表中。

但是，每当我尝试使用 Go BigQuery 客户端流式传输一个月前的数据时，它都会返回错误：“您只能流式传输到过去 7 天内和未来 3 天内相对于当前日期的日期范围。”

如何使用 Go 客户端流式传输超过 7 天的数据？

编辑 1：这是表架构：

bigquery.TableMetadata
    Schema: bigquery.Schema
        Name: "page_id", Required: true, Type: bigquery.IntegerFieldType,
        Name: "user_id", Required: false, Type: bigquery.IntegerFieldType,
        Name: "hit_time", Required: true, Type: bigquery.TimestampFieldType,
    ,
    TimePartitioning: &bigquery.TimePartitioningField: "hit_time", RequirePartitionFilter: true,

【问题讨论】：

你能告诉我你的桌子是什么样子的吗？我不确定您使用的是哪种类型的分区。

您仍然可以使用批处理将数据插入分区！ （因为它是旧数据，也许你可以批处理它？）

是的，这是一个选项。但是数据仍然以流的形式出现，所以如果我想要最新的表格，我必须创建一个包含一个条目的批次。

【参考方案1】：

根据this issue，这是一个“应该很快就会全面推出”的新功能。我将我的项目列入白名单进行尝试，并且能够将旧数据插入表中。