用 Java Lambda 编写的 Spark UDF 引发 ClassCastException

Posted 2023-04-14

【中文标题】用 Java Lambda 编写的 Spark UDF 引发 ClassCastException

【英文标题】：Spark UDF written in Java Lambda raises ClassCastException

【发布时间】：2018-01-02 01:15:46

【问题描述】：

这是一个例外：

java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to ... of type org.apache.spark.sql.api.java.UDF2 in instance of ...

如果我不通过 Lambda 表达式实现 UDF，没关系。喜欢：

private UDF2 funUdf = new UDF2<String, String, String>() 
    @Override
    public String call(String a, String b) throws Exception 
        return fun(a, b);
    
;
dataset.sparkSession().udf().register("Fun", funUdf, DataTypes.StringType);
functions.callUDF("Fun", functions.col("a"), functions.col("b"));

我在本地运行，所以这个答案将 not 帮助：https://***.com/a/28367602/4164722

为什么？我该如何解决？

【问题讨论】：

secfree 你看过解决方案了吗？

【参考方案1】：

这是一个可行的解决方案：

UDF1 myUDF = new UDF1<String, String>() 
            public String call(final String str) throws Exception 
                return str+"A";
            
        ;
    
sparkSession.udf().register("Fun", myUDF, DataTypes.StringType);

Dataset<Row> rst = sparkSession.read().format("text").load("myFile");

rst.withColumn("nameA",functions.callUDF("Fun",functions.col("name")))