如何在 Spark 中显示 KeyValueGroupedDataset？

Posted 2023-03-12

【中文标题】如何在 Spark 中显示 KeyValueGroupedDataset？

【英文标题】：How to display a KeyValueGroupedDataset in Spark?

【发布时间】：2017-10-10 15:47:51

【问题描述】：

我正在尝试学习 Spark 中的数据集。我不知道的一件事是如何显示KeyValueGroupedDataset，因为show 不起作用。此外，KeyValuGroupedDataSet 的 map 相当于什么？如果有人举一些例子，我将不胜感激。

【问题讨论】：

你能展示一个可重现的例子吗？ SO 不是一个教程网站。

【参考方案1】：

好的，我从here 和here 给出的示例中得到了这个想法。我在下面给出一个我写的简单例子。

val x = Seq(("a", 36), ("b", 33), ("c", 40), ("a", 38), ("c", 39)).toDS
x: org.apache.spark.sql.Dataset[(String, Int)] = [_1: string, _2: int]

val g = x.groupByKey(_._1)
g: org.apache.spark.sql.KeyValueGroupedDataset[String,(String, Int)] = ...

val z = g.mapGroupscase(k, iter) => (k, iter.map(x => x._2).toArray)
z: org.apache.spark.sql.Dataset[(String, Array[Int])] = [_1: string, _2: array<int>]

z.show
+---+--------+
| _1|      _2|
+---+--------+
|  c|[40, 39]|
|  b|    [33]|
|  a|[36, 38]|
+---+--------+