Steaming insert / insertAll - 长时间延迟？

Posted 2023-03-24

【中文标题】Steaming insert / insertAll - 长时间延迟？

【英文标题】：Steaming insert / insertAll - long delay?

【发布时间】：2014-04-04 15:35:32

【问题描述】：

我正在从 google api for python 将数据流式传输到 BigQuery 上的表中。

我在 bigQuery 的响应中得到 200 OK，但没有“insertErrors”键：

u'kind': u'bigquery#tableDataInsertAllResponse'

如果我查询我的表，则只有 2 行，尽管我在不久前（20 分钟以上）插入了几条额外的记录。

我在任何地方都看不到任何错误 - 有人可以告诉我如何调试这个问题吗？

【问题讨论】：

请分享一些您刚刚执行的作业ID，通常会有一些延迟，几分钟，但不应在十分钟范围内。

我是 bigquery 的新手，如果这是一个愚蠢的问题，请原谅，但是我如何获取/查找流插入的作业 ID？

这里有类似的 php 代码：***.com/questions/22150608/…

我认为流式插入的工作方式不同。我正在遵循本页底部概述的方法：developers.google.com/bigquery/streaming-data-into-bigquery（请参阅示例的 Python 选项卡）

【参考方案1】：

我在这里找到了解决方案： https://***.com/a/19145783/1607103

我通过在其中创建新数据集和新表解决了我遇到的问题。现在一切正常，数据在添加后几秒钟内可见。我的项目处于表结构经常更改的阶段，这似乎是问题的原因。我将确保修改后的表现在具有不同的名称。

我非常担心 bigquery 遇到不可见的问题。没有错误，也没有迹象（我知道）出现问题，这让我没有信心。