将 avro 十进制数据加载到 BigQuery 中？

Posted 2023-03-24

【中文标题】将 avro 十进制数据加载到 BigQuery 中？

【英文标题】：Load avro decimal data into BigQuery?

【发布时间】：2017-09-13 13:55:33

【问题描述】：

我有 AVRO 配置单元表，其中有一些十进制列。我知道 Avro 如何存储逻辑类型格式的十进制数据。但是当我将这些数据加载到 BigQuery 中时，BigQuery 无法解析这些十进制数据它将它们视为垃圾值。我不知道将这些十进制数据加载到 BigQuery 中。任何帮助将不胜感激。

【问题讨论】：

能否请file a bug report 并附上一个不包含 PII 的示例 Avro 文件，如果可能的话？

【参考方案1】：

由于 AVRO_DECIMAL 类型是相对较新的添加，BigQuery 尚不支持它。这是问题跟踪器链接： https://issuetracker.google.com/issues/65641870

作为一种临时解决方法，您可以将十进制数据转换为浮点表示，以便将其加载到 BigQuery 中。

【讨论】：

我们在 Array 的 Array 数据类型下有 Decimal 数据类型，如 Array>>> ，在这种情况下我们无法转换为其他类型。