整数、长整数或双精度类型作为 Spark UDF 的函数参数

Posted 2023-04-18

【中文标题】整数、长整数或双精度类型作为 Spark UDF 的函数参数

【英文标题】：Integer, Long or Double type as function parameter to Spark UDF

【发布时间】：2017-08-24 05:48:53

【问题描述】：

我有一个调用 Scala 函数的简单 spark UDF。 Scala 函数目前使用 'Long' 类型，如下所示

def someUDF(someList: List[String]) = udf  (inMap: Map[String, Long]) =>
    someFunc[Long](inMap, someList)
  

由于 spark 不支持 Any 类型，有没有一种方法可以传递可以用于 Long、Int 或 Double 类型的泛型类型，而无需创建重复的 UDF？

谢谢！

【参考方案1】：

我认为你可以定义双重功能。 Long 和 Int 可以直接转换为 double。

【讨论】：

这会改变非预期值的类型。是否有我可以使用的通用数字类型，或者在 spark 中更好地支持 AnyVal 类型？