HIVE常用正则表达式

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HIVE常用正则表达式相关的知识,希望对你有一定的参考价值。

参考技术A 一、校验数字的表达式

数字:^[0-9]*$

n位的数字:^\dn$

至少n位的数字:^\dn,$

m-n位的数字:^\dm,n$

零和非零开头的数字:^(0|[1-9][0-9]*)$

非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(\.[0-9]1,2)?$

带1-2位小数的正数或负数:^(\-)?\d+(\.\d1,2)$

正数、负数、和小数:^(\-|\+)?\d+(\.\d+)?$

有两位小数的正实数:^[0-9]+(\.[0-9]2)?$

有1~3位小数的正实数:^[0-9]+(\.[0-9]1,3)?$

非零的正整数:^[1-9]\d*$ 或 ^([1-9][0-9]*)1,3$ 或 ^\+?[1-9][0-9]*$

非零的负整数:^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$

非负整数:^\d+$ 或 ^[1-9]\d*|0$

非正整数:^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$

非负浮点数:^\d+(\.\d+)?$ 或 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$

非正浮点数:^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$

正浮点数:^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$

负浮点数:^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$

浮点数:^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$

校验字符的表达式

汉字:^[\u4e00-\u9fa5]0,$

英文和数字:^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]4,40$

长度为3-20的所有字符:^.3,20$

由26个英文字母组成的字符串:^[A-Za-z]+$

由26个大写英文字母组成的字符串:^[A-Z]+$

由26个小写英文字母组成的字符串:^[a-z]+$

由数字和26个英文字母组成的字符串:^[A-Za-z0-9]+$

由数字、26个英文字母或者下划线组成的字符串:^\w+$ 或 ^\w3,20$

中文、英文、数字包括下划线:^[\u4E00-\u9FA5A-Za-z0-9_]+$

中文、英文、数字但不包括下划线等符号:^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]2,20$

可以输入含有^%&',;=?$\"等字符:[^%&',;=?$\x22]+

禁止输入含有~的字符:[^~\x22]+

三、特殊需求表达式

Email地址:^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$

域名:[a-zA-Z0-9][-a-zA-Z0-9]0,62(/.[a-zA-Z0-9][-a-zA-Z0-9]0,62)+/.?

InternetURL:[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$

手机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d8$

电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX):^(\(\d3,4-)|\d3.4-)?\d7,8$

国内电话号码(0511-4405222、021-87888822):\d3-\d8|\d4-\d7

电话号码正则表达式(支持手机号码,3-4位区号,7-8位直播号码,1-4位分机号): ((\d11)|^((\d7,8)|(\d4|\d3)-(\d7,8)|(\d4|\d3)-(\d7,8)-(\d4|\d3|\d2|\d1)|(\d7,8)-(\d4|\d3|\d2|\d1))$)

身份证号(15位、18位数字),最后一位是校验位,可能为数字或字符X:(^\d15$)|(^\d18$)|(^\d17(\d|X|x)$)

帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]4,15$

密码(以字母开头,长度在6~18之间,只能包含字母、数字和下划线):^[a-zA-Z]\w5,17$

强密码(必须包含大小写字母和数字的组合,不能使用特殊字符,长度在 8-10 之间):^(?=.*\d)(?=.*[a-z])(?=.*[A-Z])[a-zA-Z0-9]8,10$

强密码(必须包含大小写字母和数字的组合,可以使用特殊字符,长度在8-10之间):^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).8,10$

日期格式:^\d4-\d1,2-\d1,2

一年的12个月(01~09和1~12):^(0?[1-9]|1[0-2])$

一个月的31天(01~09和1~31):^((0?[1-9])|((1|2)[0-9])|30|31)$

钱的输入格式:

有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000":^[1-9][0-9]*$

这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式:^(0|[1-9][0-9]*)$

一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号:^(0|-?[1-9][0-9]*)$

这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧。下面我们要加的是说明可能的小数部分:^[0-9]+(.[0-9]+)?$

必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的:^[0-9]+(.[0-9]2)?$

这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样:^[0-9]+(.[0-9]1,2)?$

这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样:^[0-9]1,3(,[0-9]3)*(.[0-9]1,2)?$

1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须:^([0-9]+|[0-9]1,3(,[0-9]3)*)(.[0-9]1,2)?$

备注:这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里

xml文件:^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$

中文字符的正则表达式:[\u4e00-\u9fa5]

双字节字符:[^\x00-\xff] (包括汉字在内,可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1))

空白行的正则表达式:\n\s*\r (可以用来删除空白行)

html标记的正则表达式:<(\S*?)[^>]*>.*?|<.*? /> ( 首尾空白字符的正则表达式:^\s*|\s*$或(^\s*)|(\s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式)

腾讯QQ号:[1-9][0-9]4, (腾讯QQ号从10000开始)

中国邮政编码:[1-9]\d5(?!\d) (中国邮政编码为6位数字)

IP地址:((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.)3(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))

Hive正则表达式

参考技术A

参考 维基百科 、 Hadoop Hive概念学习系列之hive的正则表达式初步(六) 和 Hive 正则匹配函数

之前没有在意过正则表达式,但是工作组不可避免的遇到了,感觉也比较重要,就花点时间理解一下。

正则表达式的目的:对字符串str进行解析,用正则表达式(pattern)进行匹配,并 得到我们想要的符合模板pattern的字符串

一个正则表达式通常被称为一个模式(pattern),为用来描述或者匹配一系列匹配某个句法规则的字符串。例如:Handel、Händel和Haendel这三个字符串,都可以由H(a|ä|ae)ndel这个模式来描述。

同一个正则表达式可以匹配多个字符串。
例如,goo+gle可以匹配google、gooogle、goooogle等
0*42可以匹配42、042、0042、00042等。

反过来说,对于google、gooogle、goooogle我们都可以用正则表达式“goo+gle”匹配得到。而google、gooogle、goooogle就算我们想要的符合模板pattern的字符串。

举两个经常用到的:regexp_extract 与 regexp_replace

regexp_extract(str, regexp[, idx]) 字符串正则表达式解析函数。

extracts a group that matches regexp

参数解释:

其中还有几个符号与idx需要注意的地方。
小括号( )标记一个子表达式的开始与结束的位置
**1表示返回正则表达式中第一个() 对应的结果 **。
2表示返回正则表达式中第二个() 对应的结果

0表示把整个正则表达式对应的结果全部返回

举例:

返回第一个()对应的结果。

此时,第一个()中对应结果是love,所以返回“love”。

因为idx是0,所以返回整个正则表达式匹配的结果。

语法: regexp_replace(string A, string B, string C)
返回值: string
说明: 将字符串A中的符合Java正则表达式B的部分替换为C

注意,在有些情况下要使用转义字符,类似 Oracle 中的regexp_replace函数。

举例说明:

以上是关于HIVE常用正则表达式的主要内容,如果未能解决你的问题,请参考以下文章

hive正则表达式

Hive正则表达式

HIVE常用的字符串处理函数

HIVE常用的字符串处理函数

hive 正则匹配符号都要转义吗

hive正则表达式