Databricks 时间戳格式 - 如何找到确切的格式?
Posted
技术标签:
【中文标题】Databricks 时间戳格式 - 如何找到确切的格式?【英文标题】:Databricks Timestamp format - How to find exact format? 【发布时间】:2021-04-22 18:37:09 【问题描述】:当我尝试通过 show() 和 display(dataframe) 从 pyspark 数据框中显示日期列时,这些数据列的格式是不同的。现在我们如何得出数据框中的日期格式?
显示:2018-02-15T06:47:19.000+0000
演出时间:2018-02-15 06:47:19
【问题讨论】:
您可以使用datetime.datetime.strftime
和datetime.datetime.strptime
来格式化和解析时间戳字符串。存储的字符串看起来是 UTC 时区。
show
应该给出更准确的表示。
@progmatico datetime
只能用于 Python 对象,不能用于数据帧。
【参考方案1】:
数据帧中的时间戳不存储为字符串 - 它使用内部表示 (Long in case of timestamp
) 存储,然后由 show
或 display
转换为文本。
【讨论】:
以上是关于Databricks 时间戳格式 - 如何找到确切的格式?的主要内容,如果未能解决你的问题,请参考以下文章
在不知道确切行键的情况下在 Bigtable 中查找最新时间戳