Apache Spark 从时间戳列中减去天数

Posted 2023-02-24

【中文标题】Apache Spark 从时间戳列中减去天数

【英文标题】：Apache Spark subtract days from timestamp column

【发布时间】：2018-03-04 02:21:40

【问题描述】：

我正在使用 Spark 数据集，但无法从时间戳列中减去天数。

我想从时间戳列中减去天数并获得具有完整日期时间格式的新列。示例：

2017-09-22 13:17:39.900 - 10 ----> 2017-09-12 13:17:39.900

使用 date_sub 函数，我得到 2017-09-12 没有 13:17:39.900。

【问题讨论】：

from_unixtime(unix_timestamp(strdate) - 86400 ) 减去一天。我认为您可能会以这种方式损失毫秒。

谢谢。这种方式通常没问题，但我这样会浪费毫秒......

【参考方案1】：

您将cast 数据转换为timestamp 和expr 以减去INTERVAL：

import org.apache.spark.sql.functions.expr

val df = Seq("2017-09-22 13:17:39.900").toDF("timestamp")

df.withColumn(
  "10_days_before", 
  $"timestamp".cast("timestamp") - expr("INTERVAL 10 DAYS")).show(false)

+-----------------------+---------------------+
|timestamp              |10_days_before       |
+-----------------------+---------------------+
|2017-09-22 13:17:39.900|2017-09-12 13:17:39.9|
+-----------------------+---------------------+

如果数据已经是TimestampType，你可以跳过cast。

【参考方案2】：

或者您可以简单地使用 pyspark +1.5 中的 date_sub 函数：

from pyspark.sql.functions import *

df.withColumn("10_days_before", date_sub(col('timestamp'),10).cast('timestamp'))

【讨论】：

最近发现 date_sub() 返回的是日期，而不是时间戳，所以会遇到意外的舍入。