如何在 pyspark.sql.functions.when() 中使用多个条件？

Posted 2023-03-31

【中文标题】如何在 pyspark.sql.functions.when() 中使用多个条件？

【英文标题】：How do I use multiple conditions with pyspark.sql.functions.when()?

【发布时间】：2015-10-15 14:56:35

【问题描述】：

我有一个包含几列的数据框。现在我想从其他 2 列派生一个新列：

from pyspark.sql import functions as F
new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0 & df["col-2"] > 0.0, 1).otherwise(0))

这样我只得到一个例外：

py4j.Py4JException: Method and([class java.lang.Double]) does not exist

它只适用于这样的一个条件：

new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0, 1).otherwise(0))

有人知道使用多个条件吗？

我使用的是 Spark 1.4。

【问题讨论】：

在Python中，你不应该写df["col-1"] > 0.0 and df["col-2"]>0.0吗？

其实没有。这将导致以下错误ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions.

啊我明白了，那么我猜你必须使用括号：(df["col-1"] > 0.0) & (df["col-2"] > 0.0)，来修复优先级

这很奇怪。我很确定我对此进行了测试，但现在它可以工作了。谢谢！ :)

@Ashalynd 请将其作为答案发布。

【参考方案1】：

使用括号强制执行所需的运算符优先级：

F.when( (df["col-1"]>0.0) & (df["col-2"]>0.0), 1).otherwise(0)

【讨论】：

上述解决方案对我有用。只是要注意数据类型。当我尝试执行df["col-2"] is not None 时，我收到了错误py4j.Py4JException: Method and([class java.lang.Boolean]) does not exist。 Pyspark 关心类型，因为我的col-2 是一个字符串，所以我必须做df["col-2"] == ''。

【参考方案2】：

when 在 pyspark 中可以使用 &（for and）和 |（for or )，将每个表达式括在括号中很重要，这些表达式组合起来形成条件

%pyspark
dataDF = spark.createDataFrame([(66, "a", "4"), 
                                (67, "a", "0"), 
                                (70, "b", "4"), 
                                (71, "d", "4")],
                                ("id", "code", "amt"))
dataDF.withColumn("new_column",
       when((col("code") == "a") | (col("code") == "d"), "A")
      .when((col("code") == "b") & (col("amt") == "4"), "B")
      .otherwise("A1")).show()

when in spark scala 可以与 && 和 || 运算符一起使用来构建多个条件 p>

//Scala
val dataDF = Seq(
          (66, "a", "4"), (67, "a", "0"), (70, "b", "4"), (71, "d", "4"
          )).toDF("id", "code", "amt")
    dataDF.withColumn("new_column",
           when(col("code") === "a" || col("code") === "d", "A")
          .when(col("code") === "b" && col("amt") === "4", "B")
          .otherwise("A1"))
          .show()

输出：

+---+----+---+----------+
| id|code|amt|new_column|
+---+----+---+----------+
| 66|   a|  4|         A|
| 67|   a|  0|         A|
| 70|   b|  4|         B|
| 71|   d|  4|         A|
+---+----+---+----------+

【讨论】：

这对 PySpark 无效——尽管我猜它适用于 Spark 的其他变体？

@Marco 谢谢，我已纠正。更新 Pyspark 代码 sn-p

【参考方案3】：

你也可以使用 from pyspark.sql.functions import col F.when(col("col-1")>0.0) & (col("col-2")>0.0), 1).otherwise(0)

【讨论】：

是否缺少(？ F.when((col("col-1")>0.0) & (col("col-2")>0.0), 1).otherwise(0)