spark自定义udf输入类型为array报错

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark自定义udf输入类型为array报错相关的知识,希望对你有一定的参考价值。

定义udf如下

val list2string = udf { (style: Array[String], num: Array[Long]) =>
   style.zip(num).map(t => t._1 + ":" + t._2).mkString("<br>")
}

输入为两个数组,输出为string

 

报错如下

Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;

 

打印输入字段类型

root

 |-- user_no: long (nullable = true)

 |-- style_list: array (nullable = true)

 |    |-- element: string (containsNull = true)

 |-- styleNum_list: array (nullable = true)

 |    |-- element: long (containsNull = true)

 

解决办法

更改udf输入为seq

val list2string = udf { (style: Seq[String], num: Seq[Long]) =>
   style.zip(num).map(t => t._1 + ":" + t._2).mkString("<br>")
}

 

以上是关于spark自定义udf输入类型为array报错的主要内容,如果未能解决你的问题,请参考以下文章

sparksql 自定义用户函数(UDF)

Spark UDF 到自定义排序结构数组

如何在用户定义的函数中使用自定义类型?

如何在 Spark 中创建 UDF 以支持自定义谓词

spark自定义UDF为啥参数最多21个

一套 Spark UDF 实践教程(文末专栏抽奖)