Spark UDF 函数怎么实现参数数量变化？

Posted 2023-04-30

求大神给个思路我想实现 my_udf(A,B)。

sparkSession.sql("select my_udf(column) from table")

sparkSession.sql("select my_udf(column,2) from table")

想实现UDF参数数量可变。B 可以传，也可以不传，默认0

参考技术A def my_udf(A:String = "",B:Int = 0):Double


给参数一个默认值即可

sparksql udf自定义函数中参数过多问题的解决

在进行spark sql数据库操作中，常常需要一些spark系统本身不支持的函数，如获取某一列值中的字符串。

如要获取　“aaaakkkkk”中的第4－第8个字符。

针对这种需求，只有设置UDF来实现了。

如

val fun:((String,Int,Int) => String) = (args:String, k1:Int, k2:Int) => { args.substr(k1,k2)} 

val sqlfunc = udf(fun)

df.withColumn("column22", sqlfunc(col("column1"), 1,3)

这样就报错。

才发现这里面由于UDF的原因，在任何函数中这个数字本身是不认的，因此需要加上lit()的命令才可以。

df.withColumn("column22", sqlfunc(col("column1"), lit(1), lit(3))，只有这样才可以实现。

df.withColumn("column22", sqlfunc(col("column1"), 1,3)