向谷歌大查询插入数据时出现 503 错误

Posted 2023-03-24

【中文标题】向谷歌大查询插入数据时出现 503 错误

【英文标题】：503 error while inserting data to google big query

【发布时间】：2018-05-16 11:05:40

【问题描述】：

在下面的代码中看到503 错误，我们正在发送一批 500 条记录，如果我们有 50k 条记录，我们将看到此错误。

insertTableRequest.setRows(listOfRows);

                insertTableResponse = bigquery.tabledata()
                        .insertAll(projectId, datasetId, tableToCreate, insertTableRequest).execute();

对于所有这些较大的文件，我们会看到以下错误：

原因：com.google.api.client.googleapis.json.GoogleJsonResponseException: 503 Service Unavailable "code" : 503, "errors" : [ "domain" : "global", "message" : "Error执行过程中遇到。重试可能会解决问题。", "reason" : "backendError" ], "message" : "执行过程中遇到错误。重试可能会解决问题。", "status" : "UNAVAILABLE"

【问题讨论】：

不清楚你在问什么。期望的行为是什么？你想达到什么目标？请在此处查看如何提出好的问题：***.com/help/how-to-ask

【参考方案1】：

当收到“backend error”时，如错误消息中所述调用jobs.insert()，重试可能会解决问题。

实现exponential backoff 有助于防止此类错误。