如何使用 Spark Dataframe 实现“over (partition by value)”

Posted 2023-04-18

【中文标题】如何使用 Spark Dataframe 实现“over (partition by value)”

【英文标题】：How to implement "over (partition by value)" using Spark Dataframe

【发布时间】：2017-11-30 23:23:08

【问题描述】：

我打算修改一列Spark Dataframe来实现下面Hive QL的类似目的：

SELECT Id, MIN(Id) over (PARTITION BY Age) Rep FROM Employees

我的问题是如何在 UDF 中实现“over (partition by ..)”？

我的电话是这样的：

def _udfuntion =  ... 
val ownfunc = udf(_udfunction)
df.withColumn("Rep", ownfunc($"Id", $"Age"))

【参考方案1】：

您需要使用用户定义的聚合函数 (UDAF) 而不是 UDF。

有一些很好的例子，例如https://docs.databricks.com/spark/latest/spark-sql/udaf-scala.html 和 https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-UserDefinedAggregateFunction.html