尝试从 Big Query 导出时出现内部错误

Posted 2023-03-24

【中文标题】尝试从 Big Query 导出时出现内部错误

【英文标题】：Getting an internal error trying to export from Big Query

【发布时间】：2015-10-29 09:30:49

【问题描述】：

我需要修复一些 BQ 表，唯一的方法似乎是导出它们，在本地修复并重新上传。但是我所有的出口尝试都失败了。下面只是一个例子。我正在使用命令行bq。

bq extract --compression=GZIP --destination_format=NEWLINE_DELIMITED_JSON test.US_2015_05 gs://???/us-2015-05--*.gz
BigQuery error in extract operation: Error processing job '???:bqjob_r1dbda9e5_00000150b2e288eb_1': An internal error occurred and the request could not be completed.

如果我从 URI 中去掉通配符，我会得到一个不同的错误。

'???:bqjob_r3e0f4cf0_00000150b2e6daf6_1': Table gs://???/us-2015-05.json too large to be exported to a single file. Specify a uri including a * to shard export.

此外，我不能使用默认的 CSV 导出，因为我的表具有 REPEATED 字段。所以它必须是 JSON（压缩与否）。

有什么想法吗？

[编辑] 如果我尝试从 Web UI 导出，我会遇到同样的内部错误。

【问题讨论】：

是什么让您觉得您无法在 BQ 中修复您的表格？有什么细节吗？解决原始问题（如果存在）与解决方法选项问题相比可能更理想

好吧，想象一下在一个 170GB 大的表中有一个非常复杂的层次结构，你突然意识到缺少 4 层深的字段。给定带有某种键/值数据的附加表，您将如何解决这个问题？目标是保留原始表的结构（不展平）并添加新字段。如果您认为自己有解决方案，我很乐意发布一个单独的问题，让您有机会在那里回答。我相信这是一个常见的 BQ 问题，每个人都会从中受益。

我想我们应该试试。 170GB对于BQ来说真的不算什么，4级应该没问题。但可能取决于实际情况

【参考方案1】：

“内部错误”是我们跨区域执法中的一个错误：我们的错误地图中缺少一个欧洲区域，而您偶然发现了它。很抱歉给您带来不便，我们会尽快解决此问题。

【讨论】：

最困扰我的是我偶然发现了一个解决方案。我想我会尝试一些愚蠢的事情 - 它奏效了！

【参考方案2】：

经过多次反复摆弄，解决方案非常简单，但与普通的“内部错误”完全不一致。

我尝试导出到的存储桶位于欧盟地区，这似乎让 BQ 感到困惑。在美国地区创建一个全新的存储桶使其发挥作用。

现在，我无法理解这是一个“内部错误”。尽管如此，我很高兴我得到了这个工作。我希望这可以帮助某人节省一些浪费的时间。