在 BigQuery 上上传和导入数据时从 bq 工具获取错误 - “后端错误”

Posted 2023-03-24

【中文标题】在 BigQuery 上上传和导入数据时从 bq 工具获取错误 - “后端错误”

【英文标题】：Getting error from bq tool when uploading and importing data on BigQuery - 'Backend Error'

【发布时间】：2012-06-12 14:58:30

【问题描述】：

当我尝试在 BQ 上上传和导入数据时出现错误：BigQuery error in load operation: Backend Error。我已经减小了尺寸，增加了导入之间的时间，但没有任何帮助。奇怪的是，如果我等待一段时间并重试它就可以了。

在 BigQuery 浏览器工具中，它在某些行/字段中显示为错误，但我检查并没有。显然这是一条假消息，因为如果我等待并重试上传/导入相同的文件，它会起作用。

Tnk

【问题讨论】：

您能否发送失败的作业的名称（例如，job_）？它应该在您开始导入时显示在 bq 中，或者 bq ls -j 也应该显示失败作业的作业 ID。

其中一个是job_ff366bf61ee84f779dd0d8ba91589d7e

【参考方案1】：

我在 bigquery 后端查找了失败的作业，但找不到任何因“后端错误”而终止的作业。我发现有几个失败了，因为在数据中发现了 ascii 空值。 （查看错误流错误会很有帮助，而不仅仅是错误结果）。数据可能在传输到 bigquery 的过程中出现乱码……您确定在导入失败和成功导入同一数据之间数据没有变化吗？

【讨论】：

我正在发送带有表格（\t）分隔字段的压缩 GZIP 文件，并且数据没有改变，我只是尝试再次发送相同的文件，有时它可以工作。我将尝试使用 gs 工具将文件上传到谷歌存储，然后将其加载到 BigQuery。

【参考方案2】：

我发现，当某一列（在本例中为存储预测分析的原始结果的列）中存在某些字符时，从大查询表导出到云存储中的 csv 会遇到相同的错误。通过从导出中删除该列，它解决了问题。