Hive自定义UDF,生成32位随机数
Posted tjp0210
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive自定义UDF,生成32位随机数相关的知识,希望对你有一定的参考价值。
引言曾经认为Hive自带的函数应该可以cover住我的日常所需,心想那些需要使用自定义函数的场景是不是太奇葩,谁知命运弄人,自己还是碰上了。
需求很简单,我需要模拟Oracle中的SYS_GUID()函数,生成一个32位的字母数字随机串。
开发环境:Eclipse+Maven,引入Hive0.13.1的依赖。
package cn.fulong.bigdata.tools; import java.util.Random; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.hive.ql.udf.UDFType; import org.apache.hadoop.io.Text; @UDFType(deterministic = false) public class HiveUDFOracleSysguid extends UDF private Random random = new Random(); private Text result = new Text(); public Text evaluate(int length) result.set(getCharAndNumr(length)); return result; private String getCharAndNumr(int length) StringBuffer val = new StringBuffer(); for (int i = 0; i < length; i++) String charOrNum = random.nextInt(2) % 2 == 0 ? "char" : "num"; // 输出字母还是数字 if ("char".equalsIgnoreCase(charOrNum)) // 字符串 int choice = 65; // 大写字母65,小写字母96 val.append((char) (choice + random.nextInt(26))); else if ("num".equalsIgnoreCase(charOrNum)) // 数字 val.append(String.valueOf(random.nextInt(10))); return val.toString(); 复制代码
部署
步骤一:
打包该类,上传到集群中,进入hive cli;
步骤二:
将jar包添加到hive的classpath中:
hive> add jar /home/hive-tools-sysguid-for-oracle.jar;
步骤三:
基于自定义UDF类创建自定义函数:
hive> create temporary function fbi_guid as ‘cn.bigdata.tools.HiveUDFOracleSysguid‘;
其中,fbi_guid 是自己命名的函数名称,将用于hive sql中,cn.bigdata.tools.HiveUDFOracleSysguid是类名。
执行
和内置函数使用方法一样:
select fbi_guid(32) from sp_t_re_valid_service limit 20;
填坑记录
官网给出的示例代码是:
- package com.example.hive.udf;
- import org.apache.hadoop.hive.ql.exec.UDF;
- import org.apache.hadoop.io.Text;
- public final class Lower extends UDF
- public Text evaluate(final Text s)
- if (s == null) return null;
- return new Text(s.toString().toLowerCase());
但,如果仅仅按照以上模板改写,最终运行时会遇到一个很恶心的问题:
生成随机串的逻辑只被执行了一遍,所有行的该字段字符串都是一样的,并不会像预想的那样,即每行一个随机串。
该问题请教了无数知名公司的大虾都没给出解决方案,查阅无数篇“UDF开发详解”类博客也没找到解药,情急之下灵机一动,想到了HIVE内置的rand()函数,功能其实和我这个类似,但是rand()就能很好的每行输出一个随机数,所以决定从rand()的源码找答案。
rand()函数的实现类是 org.apache.hadoop.hive.ql.udf.,各位可自行查阅。
我先将核心逻辑拷贝到自己的UDF中测试了一下,发现问题还是存在,核心逻辑只被执行了一遍,每行的对应字段都是相同的数字。
出现该现象是好事,因为问题的关键肯定在源码核心逻辑以外的某个角落!
通过观察核心逻辑以外可能对该结果造成影响的代码,发现了@UDFType(deterministic = false),该注解指定了当前UDF的类型是否是确定性,默认为true,然而,rand()的源码中将该属性设置为了false!
经测试,@UDFType(deterministic = false)果然是结症所在,加上这句注解后,我的UDF可以正常执行了,每行输出不同的32位随机字母数字串,over。
以上是关于Hive自定义UDF,生成32位随机数的主要内容,如果未能解决你的问题,请参考以下文章