Bigquery 数据未上传

Posted

技术标签:

【中文标题】Bigquery 数据未上传【英文标题】:Bigquery data not getting uploaded 【发布时间】:2014-12-11 06:26:03 【问题描述】:

我的作业 id 是 job_7mb6iw3BHoMRC09US9Vqq-Qd06s,在 Bigquery 上通过此作业上传数据时,数据未在 bigquery 上上传。我没有收到任何错误。

【问题讨论】:

【参考方案1】:

该作业失败,原因是“无效”,消息以“遇到的错误太多”开头。

为了检测作业失败,当您从jobs.get 获得成功响应时,首先确保作业处于DONE 状态,然后查找status.errorResult.reasonstatus.errorResult.message 中是否存在错误。此外,status.errorStream 将包含遇到的各个故障的列表。在这种情况下,看起来该作业正在尝试加载与表的架构不匹配的数据。您可以在errorStream中每个错误的“位置”字段中找到文件/行/字段偏移量。

以下是我们看到的“未发现作业中的错误”的几个原因:

在查找作业错误之前忘记检查 DONE。 超时等待作业完成,但忘记将超时视为失败。 让来自 jobs.get 的临时错误(5xx http 响应代码)提前终止您的等待循环,然后由于 jobs.get 本身失败而不知道作业的状态。

我希望这有助于缩小您的问题范围。

【讨论】:

以上是关于Bigquery 数据未上传的主要内容,如果未能解决你的问题,请参考以下文章

Google BigQuery - “未找到:项目 [project-id]

BigQuery - 数据传输成功,但目标表保持为空

将 10 MB 数据上传到 Bigquery

R 到 BigQuery 数据上传错误

Bigquery:使用字节数据上传 json 数据会出错

R到BigQuery数据上传错误