spark中的lit()有啥用？下面的两段代码返回相同的输出，使用 lit() 有啥好处 [重复]

Posted 2023-04-15

【中文标题】spark中的lit()有啥用？下面的两段代码返回相同的输出，使用 lit() 有啥好处 [重复]

【英文标题】：What is the use of lit() in spark? The below two piece of code returns the same output, what is the benefit of using lit() [duplicate]spark中的lit()有什么用？下面的两段代码返回相同的输出，使用 lit() 有什么好处 [重复]

【发布时间】：2020-06-09 17:22:31

【问题描述】：

我这里有两段代码

gooddata = gooddata.withColumn("Priority",when(gooddata.years_left < 5 & (gooddata.Years_left >= 0),lit("CRITICAL"))).fillna("LOW").show(5)

gooddata=gooddata.withColumn("Priority",when((gooddata.Years_left < 5) & (gooddata.Years_left >= 0),"CRITICAL").otherwise("LOW")).show(5)

【问题讨论】：

这能回答你的问题吗？ Where do you need to use lit() in Pyspark SQL?

【参考方案1】：

对于 spark 和 pyspark：

某些语句中的文字 与空值比较 获取数据框列的名称而不是数据框列的内容

例如

val nonNulls = df.columns.map(x => when(col(x).isNotNull, concat(lit(","), lit(x))).otherwise(",")).reduce(concat(_, _))

来自问题：Add a column to spark dataframe which contains list of all column names of the current row whose value is not null

val df2 = df.select(col("EmpId"),col("Salary"),lit("1").as("lit_value1"))