Google BigQuery:不稳定的表数据:使用 startIndex 时的列表行为

Posted

技术标签:

【中文标题】Google BigQuery:不稳定的表数据:使用 startIndex 时的列表行为【英文标题】:Google BigQuery: Unstable tabledata: list behaviour when using startIndex 【发布时间】:2014-11-20 20:38:52 【问题描述】:

当我们需要从 BQ 获取整个表数据时,使用 tabledata 很容易做到: list - https://cloud.google.com/bigquery/docs/reference/v2/tabledata/list 。 我们使用 startIndex 和 maxResults 进行分页。

问题是有时 startIndex 停止工作,我们总是从第 0 行获取数据到 maxResults。几个小时后它又可以工作了。

我们发现它发生在表创建和/或流式插入后 3-5 小时。 前几个小时一切正常,然后 startIndex 无法正常工作,然后再次正常。

【问题讨论】:

您能否分享您的 project_id 和一些时间戳,以便您观察到这些错误响应? 迈克尔,刚才 (22.11.2014 22:56 UTC+3) GET googleapis.com/bigquery/v2/projects/docdoc-01/datasets****/tables/requests_d*****_11_2014/data?maxResults=1&startIndex=100 或1 - 返回同一行。 @MichaelSheldon,到目前为止有什么消息吗? 【参考方案1】:

对于更强大的解决方案,最好使用“pageToken”而不是使用“startIndex”进行分页。

【讨论】:

Felipe,pageToken 在我的场景中也不起作用。 你是对的 - 'list' 不是工作,所以它没有 jobid

以上是关于Google BigQuery:不稳定的表数据:使用 startIndex 时的列表行为的主要内容,如果未能解决你的问题,请参考以下文章

Google Bigquery:Spark - 不兼容的表分区规范

Google BigQuery SQL:使滚动平均子查询或加入对大型数据集更有效

加入 Google Bigquery

Google Cloud datalab 查询 BIgQuery 表时出错

如何在 Google BigQuery 中列出与特定名称匹配的表?

Google BigQuery 将行读入数组