Google BigQuery 从 Avro internalError 创建/追加到表

Posted

技术标签:

【中文标题】Google BigQuery 从 Avro internalError 创建/追加到表【英文标题】:Google BigQuery Create/append to table from Avro internalError 【发布时间】:2016-08-04 15:05:40 【问题描述】:

我对 BigQuery 还很陌生,但是直到 1-2 天前,我还能够从 Avro 文件(均在欧盟地区)创建并附加到现有的 BigQuery 表。到目前为止,我只使用 Web UI。

我刚刚尝试从新生成的 Avro 文件中创建一个新表,但遇到了同样的错误,详情如下:

Job ID  bquijob_670fd977_15655fb3da1
Start Time  Aug 4, 2016, 3:35:45 PM
End Time    Aug 4, 2016, 3:35:53 PM
Write Preference    Write if empty

错误: 发生内部错误,无法完成请求。 (错误代码:internalError)

我无法调试,因为没有什么可做的。

【问题讨论】:

该工作是否在此处显示更多详细信息? -> cloud.google.com/bigquery/docs/reference/v2/jobs/get 【参考方案1】:

我们刚刚发布了一项不创建根字段的新功能:https://cloud.google.com/bigquery/release-notes。

由于您之前已导入 Avro,因此我们已将您的项目排除在此新功能之外。但不幸的是,我们有一个排除错误,会导致读取 Avro 失败。我想你很可能遇到了这个问题。

修复程序将于下周发布。如果您不需要 root 字段并希望为您的项目启用新功能,请将项目 id 发送给我,huazhang at google.com。对此造成的麻烦,我们深表歉意。

【讨论】:

谢谢华章。这一切都很好知道。我想我们会要求这项新功能,但希望先与团队确认。

以上是关于Google BigQuery 从 Avro internalError 创建/追加到表的主要内容,如果未能解决你的问题,请参考以下文章

从 AVRO 加载到 BigQuery - 在目标表中指定十进制类型

bigquery storage API:是不是可以将 AVRO 文件直接流式传输/保存到 Google Cloud Storage?

BigQuery 无法解析 avro 架构文件

使用 AVRO 格式的 BigQuery 流式插入

分区 BigQuery 表,从 AVRO 加载

Google BigQuery 对 AvrologicalTypes 的支持