相当于 spark 中日期的数字

Posted

技术标签:

【中文标题】相当于 spark 中日期的数字【英文标题】:numbers equivalent to dates in spark 【发布时间】:2021-02-18 16:31:02 【问题描述】:

在 excel 中,43517 的等效值为 04-16-2019。数据框从 excel 中读取值时将其读取为整数,但我想转换为时间戳

df = df.selectExpr("cast(date as timestamp) date")

值 = 43517 ;结果 = 1970-01-01 09:06:...

【问题讨论】:

这能回答你的问题吗? convert Excel Date Serial Number to Regular Date 【参考方案1】:

这个问题与 Spark 没有任何关系,它只是与不同“系统”中的日期表示有关。

这里的重点是,excel 日期的一种表示方式是自 1900 年 1 月 1 日以来经过的天数,而 UNIX 时间戳是从 1970 年 1 月 1 日开始的众所周知的秒数)

您可以在此处查看值 43517 以时间戳表示的对应日期 https://www.epochconverter.com/timezones?q=43517&tz=UTC

我想你应该问是否有办法在 Excel 中将日期表示为时间戳,或者,如何使用 Dataframes 映射值

【讨论】:

以上是关于相当于 spark 中日期的数字的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 Java 将 unix 纪元的列转换为 Apache spark DataFrame 中的日期?

在 Spark 中处理日期

在 Spark SQL 中计算财务日期

Spark 转换生成未来日期

在 Spark 中转换 dd-MMM-yy 日期格式

如何在 Spark 数据框中添加具有当前日期的额外列