Pyspark 中的解码替代品

Posted 2023-04-15

【中文标题】Pyspark 中的解码替代品

【英文标题】：Decode substitute in Pyspark

【发布时间】：2019-08-09 04:42:19

【问题描述】：

我想在 Pyspark 数据帧中转换 SQL DECODE 函数逻辑。实现它的最佳方法是什么？

decode(true,
is_date(DATE,'mm/dd/yy'),to_date(DATE,'mm/dd/yy'),
is_date(DATE,'month dd,yyyy'),to_date(DATE,'month dd,yyyy'),
is_date(DATE,'dd month,yyyy'),to_date(DATE,'dd month,yyyy'),
is_date(DATE,'mm/dd/yyyy'),to_date(DATE,'mm/dd/yyyy') ,null)

请给点建议。

【参考方案1】：

使用case。您的decode() 以true 开头，这似乎不正确。所以，我想你想要：

(case when is_date(DATE, 'mm/dd/yy') then to_date(DATE,'mm/dd/yy')
      when is_date(DATE, 'month dd,yyyy') then to_date(DATE,'month dd,yyyy')
      when is_date(DATE, 'dd month,yyyy') then to_date(DATE, 'dd month,yyyy'),
      when is_date(DATE, 'mm/dd/yyyy') then to_date(DATE, 'mm/dd/yyyy')
 end)

我不知道您的环境是否支持带有格式参数的is_date() 或to_date()（这些不是标准的SparkSQL 函数），但您的问题是关于decode()。

如果您的问题确实与这些函数有关，那么请提出一个新的问题，并非常清楚问题以及示例数据和期望的结果。

【参考方案2】：

以下代码可能对您有所帮助：

df.withColumn('col1_modified', when(df.col1.isNull(), 'user_defined_1').when(df.col1==<col1_value>, 'user_defined_2').otherwise(df.col1)).show()

【讨论】：

欢迎来到 SO。您应该阅读How do I write a good answer发布代码时请确保使用代码标签。