hive里的用户定义函数UDF

Posted 大数据和人工智能躺过的坑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive里的用户定义函数UDF相关的知识,希望对你有一定的参考价值。

  Hive可以通过实现用户定义函数(User-Defined Functions,UDF)进行扩展(事实上,大多数Hive功能都是通过扩展UDF实现的)。想要开发UDF程序,需要继承org.apache.hadoop.ql.exec.UDF类,并重载evaluate方法。Hive API提供@Description声明,使用声明可以在代码中添加UDF的具体信息。在Hive中可以使用DESCRIBE语句来展现这些信息。

  Hive的源码本身就是编写UDF最好的参考资料。在Hive源代码中很容易就能找到与需求功能相似的UDF实现,只需要复制过来,并加以适当的修改就可以满足需求。

 

 

下面是一个具体的UDF例子,该例子的功能是将字符串全部转化为小写字母:

package com.madhu.udf;

import org.apache.hadoop.hive.ql.exec.Desription;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

//add jar samplecode.jar;
//create temporary function to_upper as ‘com.madhu.udf.UpercaseUDF‘;
@Desription(
  name="to_upper",
  value="_FUNC_(str) -Converts a string to uppercase",
  extended="Example:\n" +
  " > select to_upper(producer) from videos_ex;\n" +
  " JOHN MCTIERNAN"
)
public class UpercaseUDF extends UDF{
  public Text evaluate(Text input){
    Text result = new Text("");
    if (input != null){
      result.set(input.toString().toUpperCase());
    }  
    return result;
  }
}

 

 

 

   UDF只有加入到Hive系统路径,并且使用唯一的函数名注册后才能在Hive中使用。UDF应该被打成JAR包。

 

 

下面的语句可以把JAR条件放入Hive系统路径,并注册相关函数:

hive > add jar samplecode.jar
Added samplecode.jar to class path
Added resource:samplecode.jar
hive> create temporary function to_upper as ‘com.madhu.udf.UppercaseUDF‘;

 

 

  现在可以在Hive中使用这个函数了:

hive > describe function to_upper;
OK
to_upper(str) -Converts a string to uppercase
Time taken:0.039 seconds,Fetched:1 row(s)
hive > describe function extended to_upper;
OK
to_upper(str) - Converts a string to uppercase
Example:
> select to_upper(producer) from videos_ex;
JOHN MCTIERNAN
Time taken:0.07 seconds,Fetched:4 row(s)

 

 

  

以上是关于hive里的用户定义函数UDF的主要内容,如果未能解决你的问题,请参考以下文章

hive自定义函数(UDF)

Hive的UDF(用户自定义函数)开发

Hive自定义UDF函数

Hive UDF开发

Hive开发自定义函数UDF

Hive从入门到精通8:Hive自定义函数(UDF)