Bigquery：我们应该在模式更新后等待多长时间才能流式传输数据？

Posted 2023-03-24

【中文标题】Bigquery：我们应该在模式更新后等待多长时间才能流式传输数据？

【英文标题】：Bigquery: How long should we wait to stream data after schema update?

【发布时间】：2014-08-19 21:44:04

【问题描述】：

我在现有表中添加了三列（更改表架构）。我可以在 Web UI 上看到它们。 但是当我将数据流式传输到 时，我有错误：没有这样的字段。我打印出数据内容 json，发现它实际上与架构匹配。

我应该等待多长时间才能看到更改后的架构以进行流式传输？有什么经验法则吗？

【参考方案1】：

流式架构的缓存失效频率当前设置为 8 小时。因此，如果您更改架构，最多可能需要 8 小时才能将数据流式传输到该表。

设置如此之高是为了在不压倒我们的元数据服务器的情况下处理非常高的插入率。

我们有一个内部错误可以将缓存时间缩短到几分钟或更短。

【讨论】：

此 SLA 是否已更新？我们注意到大约 2 分钟，但过去 24 小时似乎超过 15 分钟？