如何写hive的udf函数

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何写hive的udf函数相关的知识,希望对你有一定的参考价值。

参考技术A 最近感受了hive的udf函数的强大威力了,不仅可以使用很多已经有的udf函数,还可以自己定义符合业务场景的udf函数,下面就说一下如何写udf/udaf/udtf函数,算是一个入门介绍吧。
  First, you need to create a new class that extends UDF, with one or more methods named evaluate.
  package com.example.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Lower extends UDF
public Text evaluate(final Text s)
if (s == null) return null;
return new Text(s.toString().toLowerCase());



  After compiling your code to a jar, you need to add this to the hive classpath.
  add jar my_jar.jar;

  Once hive is started up with your jars in the classpath, the final step is to register your function
  create temporary function my_lower as 'com.example.hive.udf.Lower';

  上面主要描述了实现一个udf的过程,首先自然是实现一个UDF函数,然后编译为jar并加入到hive的classpath中,最后创建一个临时变量名字让hive中调用。转载,仅供参考。

Hive 如何实现自定义函数 UDF

1. 概述

当 Hive 提供的内置函数无法满足你的业务处理需要时,此时可以考虑使用用户自定义函数 UDF 来满足不同的计算需求。UDF 在使用上与普通的内建函数类似。

2. 依赖

开发 Hive UDF 之前,我们需要引入如下依赖,里面定义了各种我们自定义 UDF 函数的类型:UDF、GenericUDF、GenericUDTF:

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec

以上是关于如何写hive的udf函数的主要内容,如果未能解决你的问题,请参考以下文章

Hive自定义UDF函数

Hive 如何实现自定义函数 UDF

Hive 如何实现自定义函数 UDF

如何在Hive&Impala中使用UDF

0011-如何在Hive & Impala中使用UDF

如何在 Hive 中重新加载更新的自定义 UDF 函数?