在 BigQuery 中流式传输数据

Posted 2023-03-24

【中文标题】在 BigQuery 中流式传输数据

【英文标题】：Streaming data in BigQuery

【发布时间】：2016-08-10 08:14:28

【问题描述】：

后，新数据仅在表中可用，因为我刷新页面数据已经消失但我仍然可以查询。主要问题是每次我关闭选项卡并再次从存储我可以看到表中的数据，但是当我刷新页面时它又会消失。

【参考方案1】：

数据在表格中。有时您会看到以下消息：

此表在流缓冲区中包含在预览中可能不可见的记录。

Web UI 在显示流式传输或更新的表格详细信息方面存在一些问题。如果您运行查询，您将看到您期望的数据。

【讨论】：

有什么解决办法吗？我需要查看表格中的数据，因为我还有一个团队并且需要它。这些错误有什么解决办法吗？感谢您的回答

我不知道。只需查询数据！反正预览也没那么有价值。

感谢您的帮助。添加额外的信息，在做了一些研究之后，我发现如果表格在某些小时内没有改变（将更新确切的时间），我能够看到表格中的数据。我认为流式表格已验证以检查它是否正在更新与否。

只是为了向其他人澄清这一点 - 这不一定是“错误”，而是与 BigQuery 处理流插入的方式有关。本质上，数据在写入之前位于缓冲区中。 BigQuery 足够智能，可以让您从缓冲区中查询和检索（因此查询工作的原因），但在写入之前它不会出现。这里有很好的解释cloud.google.com/blog/products/gcp/…