Databricks 时间戳格式 - 如何找到确切的格式?

Posted

技术标签:

【中文标题】Databricks 时间戳格式 - 如何找到确切的格式?【英文标题】:Databricks Timestamp format - How to find exact format? 【发布时间】:2021-04-22 18:37:09 【问题描述】:

当我尝试通过 show() 和 display(dataframe) 从 pyspark 数据框中显示日期列时,这些数据列的格式是不同的。现在我们如何得出数据框中的日期格式?

显示:2018-02-15T06:47:19.000+0000

演出时间:2018-02-15 06:47:19

【问题讨论】:

您可以使用datetime.datetime.strftimedatetime.datetime.strptime 来格式化和解析时间戳字符串。存储的字符串看起来是 UTC 时区。 show 应该给出更准确的表示。 @progmatico datetime 只能用于 Python 对象,不能用于数据帧。 【参考方案1】:

数据帧中的时间戳不存储为字符串 - 它使用内部表示 (Long in case of timestamp) 存储,然后由 showdisplay 转换为文本。

【讨论】:

以上是关于Databricks 时间戳格式 - 如何找到确切的格式?的主要内容,如果未能解决你的问题,请参考以下文章

如何在databricks sql中将字符串转换为日期

如何找到日期字符串的确切格式?

在不知道确切行键的情况下在 Bigtable 中查找最新时间戳

拆分时间戳 Spark databricks python SQL

如果确切时间不可用,如何根据最后可用的时间戳返回值?

05 DataBricks遍历S3容器