从 Cloud Storage 导入 BigQuery 时出现后端错误

Posted 2023-03-24

【中文标题】从 Cloud Storage 导入 BigQuery 时出现后端错误

【英文标题】：Backend error on import from Cloud Storage to BigQuery

【发布时间】：2013-09-10 02:05:38

【问题描述】：

最近，在从 Cloud Storage 导入 BigQuery 时，我们开始看到一些诸如此类的错误：

Waiting on job_72ae7db68bb14e93b7a6990ed628aedd ... (153s) 当前状态：RUNNING 加载操作中的 BigQuery 错误：后端错误

Waiting on job_894172da125943dbb2cd8891958d2d10 ... (364s) 当前状态：RUNNING 加载操作中的 BigQuery 错误：后端错误

这个过程每小时运行一次，并且之前已经稳定了很长时间。导入脚本或正在加载的数据类型没有任何变化。如果您需要更多信息，请告诉我。

【参考方案1】：

我在 BigQuery 日志中查找了这些作业 - 它们似乎都成功了。您遇到的错误可能是在读取作业状态时。我提交了一个内部错误，我们应该区分作业中的错误和在 bq 工具中获取作业状态的错误。

作业运行后，您可以使用bq show -j <job_d> 来查看作业的实际状态。如果它仍在运行，您可以运行bq wait <job_id>。

我还看了前端日志；这些作业 ID 的所有状态请求都返回 HTTP 200（成功）代码。

您能否将--apilog=file.txt 参数添加到您的bq 命令行（您需要将其添加到命令行的开头，如bq --apilog=file.txt load ...）并发送您遇到另一个故障的情况的输出?如果您担心敏感数据，请随时直接将其发送给我（tigani at google）。

谢谢/ 乔丹蒂加尼 / Google BigQuery 工程师