如何旋转 Spark 数据框表？ [复制]

Posted 2023-03-23

技术标签:

【中文标题】如何旋转 Spark 数据框表？ [复制]【英文标题】：how to pivot Spark dataframe table? [duplicate] 【发布时间】：2019-02-08 14:04:36 【问题描述】：

我有这个 3 列的表：

+---+----+----+
| id|type| val|
+---+----+----+
|  1|   A|   0|
|  2|   A|   0|
|  4|   A|   0|
|  2|   B|   1|
|  4|   B|   1|
+---+----+----+

我想把它改成类似：

+---+----+----+
|   |   A|   B|
+---+----+----+
|  1|   0|   -|
|  2|   1|   1|
|  4|   0|   1|
+---+----+----+

我试过了，但没有用：

val data_array = data.pivot(cols=['type'],rows=['id'],values='val')

【问题讨论】：

【参考方案1】：

df.groupBy("id").pivot("type").agg(first("value")).na.fill("-").show

df 是从测试数据文件创建的数据框

【讨论】：

以上是关于如何旋转 Spark 数据框表？ [复制]的主要内容，如果未能解决你的问题，请参考以下文章