BigQuery 无法解析 avro 架构文件

Posted 2023-03-24

【中文标题】BigQuery 无法解析 avro 架构文件

【英文标题】：BigQuery Fails to parse an avro shcema file

【发布时间】：2019-05-26 09:44:01

【问题描述】：

我需要使用 avro 架构文件在 Google 的大查询中创建一个空表，但没有这样做...

我已经编写了以下示例架构文件

   "namespace": "tutorialspoint.com",
   "type": "record",
   "name": "emp",
   "fields": [
      "name": "name", "type": "string",
      "name": "address", "type": "string"
   ]

并且使用 BigQuery 控制台无法创建表并出现以下错误：

读取数据时出错，错误消息：Apache Avro 库无法解析标头并出现以下错误：数据文件无效。魔术不匹配：/subrange//bigstore/bigquery-prod-upload-us

【参考方案1】：

BigQuery 支持加载 Avro 文件，如 here 所定义。没有 avro 架构文件的正式定义，因此 BigQuery 不支持。如果您想在 BigQuery 中使用架构创建一个空表，可以使用 BigQuery JSON schema file。