Bigquery 数据未上传
Posted
技术标签:
【中文标题】Bigquery 数据未上传【英文标题】:Bigquery data not getting uploaded 【发布时间】:2014-12-11 06:26:03 【问题描述】:我的作业 id 是 job_7mb6iw3BHoMRC09US9Vqq-Qd06s,在 Bigquery 上通过此作业上传数据时,数据未在 bigquery 上上传。我没有收到任何错误。
【问题讨论】:
【参考方案1】:该作业失败,原因是“无效”,消息以“遇到的错误太多”开头。
为了检测作业失败,当您从jobs.get 获得成功响应时,首先确保作业处于DONE 状态,然后查找status.errorResult.reason
和status.errorResult.message
中是否存在错误。此外,status.errorStream
将包含遇到的各个故障的列表。在这种情况下,看起来该作业正在尝试加载与表的架构不匹配的数据。您可以在errorStream中每个错误的“位置”字段中找到文件/行/字段偏移量。
以下是我们看到的“未发现作业中的错误”的几个原因:
在查找作业错误之前忘记检查 DONE。 超时等待作业完成,但忘记将超时视为失败。 让来自 jobs.get 的临时错误(5xx http 响应代码)提前终止您的等待循环,然后由于 jobs.get 本身失败而不知道作业的状态。我希望这有助于缩小您的问题范围。
【讨论】:
以上是关于Bigquery 数据未上传的主要内容,如果未能解决你的问题,请参考以下文章