Spark - Hive UDF 与 Spark-SQL 一起使用，但不与 DataFrame 一起使用

Posted 2023-04-13

【中文标题】Spark - Hive UDF 与 Spark-SQL 一起使用，但不与 DataFrame 一起使用

【英文标题】：Spark - Hive UDF is working with Spark-SQL but not with DataFrame

【发布时间】：2021-02-19 19:13:39

【问题描述】：

如果我在 spark SQL 中使用 hive UDF，它就可以工作。如下所述。

val df=List(("$100", "$90", "$10")).toDF("selling_price", "market_price", "profit")
df.registerTempTable("test")
spark.sql("select default.encrypt(selling_price,'sales','','employee','id') from test").show

但是以下不起作用。

//following is not working. not sure if you need to register a function for this 
val encDF = df.withColumn("encrypted", default.encrypt($"selling_price","sales","","employee","id"))
encDF.show

错误

 error: not found: value default

【问题讨论】：

现在这是 spark 域中的临时表，而不是 Hive 表或 db，afaicrhiw。

用df.withColumn("encrypted", expr("default.encrypt(selling_price,'sales','','employee','id')"))怎么样？

@mck 完美。它正在工作。然而，为什么？为什么它与 expr 一起工作，而没有它就不能工作。

@GaurangShah 查看我的回答以获得简要说明

【参考方案1】：

Hive UDF 仅在您通过 Spark SQL 访问时可用。它在 Scala 环境中不可用，因为它没有在那里定义。但是您仍然可以使用 expr 访问 Hive UDF：

df.withColumn("encrypted", expr("default.encrypt(selling_price,'sales','','employee','id')"))