Big Query 无法将字符串转换为时间戳

Posted

技术标签:

【中文标题】Big Query 无法将字符串转换为时间戳【英文标题】:Big Query is not able to convert String to Timestamp 【发布时间】:2021-09-28 11:36:53 【问题描述】:

我有一个 BigQuery 表,其中一列 (publishTs) 是时间戳。我正在尝试使用具有相同列名(publishTs)和字符串数据类型(例如“2021-08-24T16:06:21.122Z”)的 GCP UI BQ 上传选项将镶木地板文件上传到同一个表中,但 BQ 抱怨以下错误:-

我正在使用 Apache Spark 生成 parquet 文件。我尝试在互联网上搜索,但没有得到答案。

【问题讨论】:

【参考方案1】:

尝试将此列生成为 INT64 - link

【讨论】:

:- 生成为 int64 意味着生成以毫秒为单位的纪元时间?当我使用 Spark 提取数据并生成 parquet 文件时,java 中 int64 的数据类型是什么,它会很长吗? 我将时间戳字符串转换为 Long 数据类型并尝试上传到有效的 BigQuery。

以上是关于Big Query 无法将字符串转换为时间戳的主要内容,如果未能解决你的问题,请参考以下文章

Pyspark 列:将字符串格式的数据转换为时间戳格式

如何将日期和时间转换为时间戳

Impala 将字符串转换为时间戳总是返回 NULL

使用 PySpark 将日期和时间字符串转换为时间戳时如何保留毫秒?

BigQuery - 使用默认值将字符串转换为时间戳

Pandas:如何将数据框列中的“时间戳”值从对象/字符串转换为时间戳?