2 小时后 2MM 行加载作业失败，但未生成有用的错误消息

Posted 2023-03-24

【中文标题】2 小时后 2MM 行加载作业失败，但未生成有用的错误消息

【英文标题】：2MM row load job failed after 2 hours, but no useful error message generated

【发布时间】：2012-07-27 17:31:08

【问题描述】：

这是我的加载作业的屏幕截图。它说“意外。请再试一次。”没有任何额外的信息。有什么方法可以获取更多细节吗？或者谷歌的人可以仔细查看日志并告诉我失败的原因吗？

bq 显示：

工作 tzgqnxt:job_016afefcfc0a42089822d621cf3d6ace

作业类型状态开始时间持续时间处理的字节数

---

加载失败 27 Jul 10:32:05 2:00:09

作业执行期间遇到的错误。意外。请重试。

【问题讨论】：

我想知道它是否达到了 2 小时的时间限制？

我还查看了此处列出的限制，我认为我没有破坏任何限制。 developers.google.com/bigquery/docs/…

读完后，我想知道它是否可能是未终止的报价。我会在我到达机器时检查。 ***.com/questions/10562184/…

由于计划维护，该作业的日志在接下来的 24 小时内不可用。我会在他们回来时通知你，看看我是否有更多信息。

谢谢 -- 这两天结束了:)

【参考方案1】：

鉴于此作业几乎在 2 小时内被终止，您似乎达到了导入和导出作业的两小时限制。不过，这项工作可能不应该花费 2 多个小时——我查看了工作日志，看起来我们在 CSV 大约 550 万行时遇到了一些问题。你有没有机会给我 ([e-mail]) 对谷歌存储中文件的读取权限，以便我可以进一步调试？

【讨论】：

感谢您的浏览。我允许你了。

所以该文件看起来是 3.5 GB 压缩的，如果我解压缩它，我会用完 37 GB 可用设备上的磁盘空间....这也就不足为奇了，它需要超过 2导入时间。

是的，它几乎 200gb 未压缩:) 所以你认为问题是 2 小时的时间限制？ BQ是即时解压文件，还是先解压再导入？

是的，我认为您正在赶时间。目前，BigQuery 是动态解压的，但由于无法找到压缩文件，我们必须同步处理文件。

【参考方案2】：

您是否安装了bq？如果是这样，您可以尝试拨打bq show -j <that job id> 看看是否有任何其他信息。

请注意，如果您遇到超时问题，您可以通过将文件分成几个块并执行多个导入来解决它，所有这些都具有相同的目标表。最终结果将是相同的。

【讨论】：

bq 不再显示任何内容。我宁愿对任何时间限制有一个权威的答案，而不是花时间弄清楚是否有一个