提取列值并将其作为 Spark 数据帧中的数组分配给另一列

Posted 2023-04-15

【中文标题】提取列值并将其作为 Spark 数据帧中的数组分配给另一列

【英文标题】：Extract a column value and assign it to another column as an array in Spark dataframe

【发布时间】：2016-12-23 02:26:20

【问题描述】：

我有一个包含以下列的 Spark 数据框。

C1 | C2 | C3| C4
1  | 2  | 3 | S1
2  | 3  | 3 | S2
4  | 5  | 3 | S2

我想通过从 C4 列中获取不同的值来生成另一列 C5 像 C5

[S1,S2]
[S1,S2]
[S1,S2]

有人可以帮助我如何使用 Scala 在 Spark 数据框中实现这一点吗？

【问题讨论】：

你能解释一下与C4的关系，S2是如何在C5中生成的。如果 C4 中存在超过 2 个不同的值怎么办？

这篇文章已经在Assigning columns to another columns in a Spark Dataframe using Scala讨论过。

【参考方案1】：

您可能希望首先从第 4 列收集不同的项目并将它们放入一个列表中，然后使用 withColumn 创建一个新列 C5，方法是创建一个始终返回一个常量列表的 udf：

val uniqueVal = df.select("C4").distinct().map(x => x.getAs[String](0)).collect.toList    
def myfun: String => List[String] = _ => uniqueVal 
def myfun_udf = udf(myfun)

df.withColumn("C5", myfun_udf(col("C4"))).show

+---+---+---+---+--------+
| C1| C2| C3| C4|      C5|
+---+---+---+---+--------+
|  1|  2|  3| S1|[S2, S1]|
|  2|  3|  3| S2|[S2, S1]|
|  4|  5|  3| S2|[S2, S1]|
+---+---+---+---+--------+

【讨论】：

有没有办法使用 pyspark 做到这一点？