Dataframe Spark Scala中的最后一个聚合函数

Posted 2021-04-28

[我有一个数据框，我聚集在一个列上并选择最后一个元素，但是每次都会返回不同的结果，有没有办法我可以解决这个问题，而每次都没有diff结果并获得正确的结果。

val sourceDF = Seq(
 (11,"a1", "a2"),
 (11,"b1", "b2"),
 (22,"c1", "c2"),
 (22,"d1", "d2"),
 (33,"e1", "e2")
).toDF("id","name", "city")

sourceDF.show(false)

sourceDF.groupBy("id").agg(
last("name"),
last("city")
).show(false)

+---+-----------------+-----------------+                                       
|id |last(name, false)|last(city, false)|
+---+-----------------+-----------------+
|33 |e1               |e2               |
|11 |a1               |a2               |
|22 |c1               |c2               |
+---+-----------------+-----------------+

提前感谢。

答案

如果您的数据集很大，那么可能会出现问题，请尝试为您的分组列指定顺序：

sourceDF.orderBy("id").groupBy("id").agg(
last("name"),
last("city")
).show(false)