udf怎么写速度
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了udf怎么写速度相关的知识，希望对你有一定的参考价值。
写法如下，UDF修改入口速度矢量，以模拟俯仰DEFINE_PROFILE可以定义随空间坐标或时间变化的边界条件或单元区域条件。可以自定义的变量有：— 速度、压力、温度、湍流动能、湍流耗散率— 质量流量— 质量流量与物理流动时间的函数
— 组分质量分数(组分运输)
— 体积分数(多相模型)
— 壁面热条件(温度、热流、生热率、传热系数和外部发射率等)
— 壳层发热率
— 壁面粗糙度条件
— 壁面剪切和应力条件
— 孔隙率
— 多孔阻力方向矢量
— 壁面粘附接触角(VOF多相模型) 参考技术A （1）速度分布函数
式中：um=0.5m/s
（2）新建txt文档，输入以下内容后存为velocity.c
# include "udf.h"DEFINE_PROFILE(inlet_velocity, t, i) real p[ND_ND]; real x; face_t f; begin_f_loop(f,t) F_CENTROID(p,f,t); x = p[0]; F_PROFILE(f,t,i) = 1-(x-0.5)*(x-0.5)/0.25; end_f_loop(f,t)
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位
背景
在数仓项目中，有时候会根据身份证信息做一些取数filter或者条件判断的相关运算进而获取到所需的信息。古人是用Oracle做数仓，理所当然是用SQL写UDF【虽然SQL写UDF给SQL用就像用鸡肉饲养肉鸡一样，令笔者感叹Oracle的神奇】。自从Oracle数据库开发岗位被取缔后，SQL Boy们就摇身一变，成为还是只会写Hive SQL脚本的大数据开发攻城狮。本来SQL Boy们力推“原则上不允许写Java和Scala，只允许写SQL”，但是纯SQL的方式写出来，case when里套case when，套了好几层，还没有写完，就已经有几百行了。由于HQL任务可能多次用到这个功能，会导致凡是用到这种判断算法的HQL脚本最终能有几千行、上w行，不忍直视。所以最迂腐的SQL Boy也终于还是想明白了原则上不允许代表着实际上可以这么做。笔者就写了这个UDF来大幅减少HQL任务的篇幅，提升美观性。日后更多的SQL Boy也可以直接套用这个方法提高开发效率。
原理
参考：https://lizhiyong.blog.csdn.net/article/details/126186377
众所周知，Hive不可以像Oracle那样用SQL写UDF，所以需要Java写，并且打Jar包注册运行。底层原理参照之前的这篇。简单起见，就不继承GenericUDF了，而是继承UDF。
具体的规则，需要参考国标：GB11643-1999。老的 GB11643-1989 已经淘汰了，这也是为神马要有15位升级18位的功能。国标中已经给出了具体的系数和校验位的算法，照猫画虎即可。
算法
先去除脏数据，如果满足15位长，就升级18位。如果是18位，就算出校验码判断是否和数据的校验码一致。为了让判断更严谨，当然还需要添加一些判断，例如上上世纪【1900年之前】出生的人一定不会用自己的身份证号买车了。。。这些都是业务代码，日后可以根据实际情况再做修正，比纯SQL方式的可维护性好太多了。
Java实现
pom
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
<hive-exec.version>3.1.2</hive-exec.version>
<encoding>UTF-8</encoding>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>$hive-exec.version</version>
<exclusions>
<exclusion>
<groupId>org.glassfish</groupId>
<artifactId>javax.el</artifactId>
</exclusion>
</exclusions>
</dependency>
</dependencies>
只需要这个 hive-exec 依赖即可。笔者当前版本的Apache Hive有依赖冲突，故手动排除了glassfish。
Java类
package com.zhiyong;
import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
* @program: zhiyong_study
* @description: HiveUDF用于检测是否为身份证号
* @author: zhiyong
* @create: 2023-02-23 21:27
**/
public class IdCardCheck
//顺便用main方法做单元测试
public static void main(String[] args)
String input1 = "142222190001011111";
String input2 = "abCd1900ya101111x";
String input3 = "#s12311111 11";
String input4 = "###############";
String input5 = "########### @";
String input6 = "111112222233333";
String input7 = "110 10 03x";
String input8 = "11 946 9120 3";
String input9 = "11 21951 2311 X";
Udf_zhiyong_id_check udf_zhiyong_id_check = new Udf_zhiyong_id_check();
System.out.println("result1 = " + udf_zhiyong_id_check.evauate(input1));
System.out.println("result2 = " + udf_zhiyong_id_check.evauate(input2));
System.out.println("result3 = " + udf_zhiyong_id_check.evauate(input3));
System.out.println("result4 = " + udf_zhiyong_id_check.evauate(input4));
System.out.println("result5 = " + udf_zhiyong_id_check.evauate(input5));
System.out.println("result6 = " + udf_zhiyong_id_check.evauate(input6));
System.out.println("result7 = " + udf_zhiyong_id_check.evauate(input7));
System.out.println("result8 = " + udf_zhiyong_id_check.evauate(input8));
System.out.println("result9 = " + udf_zhiyong_id_check.evauate(input9));
/**
* UDF用于判断是否为身份证号码，18位则返回，15位则升级18位，否则返回空串
*/
class Udf_zhiyong_id_check extends UDF
public String evauate(String input)
String result = "";
if (StringUtils.isEmpty(input))
return "";
result = input
.replaceAll("x", "X") //x->X
.replaceAll("([a-z]+)", "") //去除a-z
.replaceAll("([A-W]+)", "") //去除A-W
.replaceAll("([Y-Z]+)", "") //去除Y-Z
.replaceAll("\\\\s*", "") //去除所有空格
;
int length = result.length();
if (!(15 == length || 18 == length)) //必须是15位或者18位
return "";
for (int i = 0; i < length; i++)
try
int parseInt = Integer.parseInt(String.valueOf(result.charAt(i)));
catch (NumberFormatException e)
if (!(i == 17 && String.valueOf(result.charAt(i)).equals("X")))
return "";
//+一些判断让UDF更严谨
//=====================================START================================
Boolean flg = false;
int[] provinceCode = 11, 12, 13, 14, 15, //华北
21, 22, 23, //东北
31, 32, 33, 34, 35, 36, 37, //华东
41, 42, 43, //华中
44, 45, 46, //华南
50, 51, 52, 53, 54, //西南
61, 62, 63, 64, 65, //西北
81, 82, 83 //港澳台
;
for (int i = 0; i < provinceCode.length; i++)
if (provinceCode[i] == Integer.parseInt(result.substring(0, 2)))
flg = true;
if (!flg)
return "";
int year = 0;
int month = 0;
int day = 0;
if (15 == length)
year = 1900 + Integer.parseInt(result.substring(6, 8));
month = Integer.parseInt(result.substring(8, 10));
day = Integer.parseInt(result.substring(10, 12));
else
year = Integer.parseInt(result.substring(6, 10));
month = Integer.parseInt(result.substring(10, 12));
day = Integer.parseInt(result.substring(12, 14));
if (year * 1000 + month * 100 + day >
Integer.parseInt(new SimpleDateFormat("yyyyMMdd").format(new Date()))
|| year < 1900)
return "";
if (month > 12 || month < 1)
return "";
if (day > 31 || day < 1)
return "";
if (day == 31 && (month == 4 || month == 6 || month == 9 || month == 11))
return "";
if (month == 2 && day > 28)
if (day > 29)
return "";
//29号只存在于闰年
if (!(year % 100 == 0 || (year % 4 == 0 && year % 100 != 0)))
return "";
//==============================END============================
int[] tmp1 = 7, 9, 10, 5, 8, 4, 2, 1, 6, 3, 7, 9, 10, 5, 8, 4, 2; //存储系数
String[] tmp2 = "1", "0", "X", "9", "8", "7", "6", "5", "4", "3", "2"; //存储尾数
int sum = 0;
if (15 == length) //身份证15位->18位
String str_17 = result.substring(0, 6) + "19" + result.substring(6, 15);
for (int i = 0; i < str_17.length(); i++) //逐位相乘及sum
sum += Integer.parseInt(String.valueOf(str_17.charAt(i))) * tmp1[i];
for (int i = 0; i < tmp2.length; i++)
if (i == sum % 11)
return str_17 + tmp2[i];
//18位的需要校验尾数
for (int i = 0; i < length - 1; i++)
sum += Integer.parseInt(String.valueOf(result.charAt(i))) * tmp1[i];
for (int i = 0; i < tmp2.length; i++)
if (i == sum % 11)
if (!(tmp2[i].equals(String.valueOf(result.charAt(17)))))
return "";
return result;
大数据行业，业务算法不值钱，值钱的是数据。。。笔者把sit验证用的数据脱敏了。。。读者可以自己搞一些验证。
结果
当使用正确的数据时，可以返回值。如果有多余的空格，也可以去除掉并且返回正确的值。如果是错误的数据，就返回空串。
打Jar包上传DataPhin和上传到Apache Hive操作略有不同，底层实现是一致的，如果是别的平台也是类似的做法，要触类旁通！！！
总结
大数据开发中，如果处理的是结构化的表，用功能极其简陋的SQL并没有什么问题，反倒脚本短小易于阅读还有开发运维容易的优势。涉及到略微不那么简单的递归迭代、循环遍历、多路分支，纯SQL硬写也写得出来并且语法没问题的话也可以凑合着跑起来。但是遇到处理的是文件、流、或者每一条数据的字段个数不一样多的log，数据不再是结构化的表时，SQL就完全没有用武之地。虽然不如Scala那么强大，但是Java做这些事情还是比SQL强很多。原则是死的，人是活的，要与时俱进学会变通！！！
总结
大数据开发中，如果处理的是结构化的表，用功能极其简陋的SQL并没有什么问题，反倒脚本短小易于阅读还有开发运维容易的优势。涉及到略微不那么简单的递归迭代、循环遍历、多路分支，纯SQL硬写也写得出来并且语法没问题的话也可以凑合着跑起来。但是遇到处理的是文件、流、或者每一条数据的字段个数不一样多的log，数据不再是结构化的表时，SQL就完全没有用武之地。虽然不如Scala那么强大，但是Java做这些事情还是比SQL强很多。原则是死的，人是活的，要与时俱进学会变通！！！
转载请注明出处：https://lizhiyong.blog.csdn.net/article/details/129220107
以上是关于udf怎么写速度的主要内容，如果未能解决你的问题，请参考以下文章
向 Oracle 添加许多 (UDF) 验证函数 - 哪种方法运行速度最快