如何将 Avro 文件加载到具有“时间戳”类型的列的 BigQuery 表中

Posted

技术标签:

【中文标题】如何将 Avro 文件加载到具有“时间戳”类型的列的 BigQuery 表中【英文标题】:How to load Avro File to BigQuery tables with columns having 'Timestamp' type 【发布时间】:2017-11-21 08:52:04 【问题描述】:

默认情况下,Avro 不支持时间戳,但我可以在文件中包含具有“Long”类型的“Epoch”时间值。我想要的是在使用命令行工具将 Avro 文件数据加载到 Bigquery 表时以“时间戳”格式加载这些值。 例如:我有一个值为1511253927 的列,我希望使用命令行工具将此值加载为2017-11-21 00:00:00。 任何线索将不胜感激。

【问题讨论】:

【参考方案1】:

您可以尝试将您的文件作为联合数据源运行查询,并使用 TIMESTAMP_SECONDS 标准 SQL 函数来转换值。

【讨论】:

以上是关于如何将 Avro 文件加载到具有“时间戳”类型的列的 BigQuery 表中的主要内容,如果未能解决你的问题,请参考以下文章

如何将 AVRO 文件中的整数值加载到 bigquery 中的日期列?

从 HIVE 表加载到 HDFS 作为 AVRO 文件

Avro 列中的 NULL 值加载为 VARIANT NULL

从 Avro 将 unix 时间戳(以秒为单位)导入 Bigquery 中的正确时间戳

spark scala比较具有时间戳列的数据帧

如何从具有 DATE 列的 BigQuery 表中导出 AVRO 文件并将其再次加载到 BigQuery