大数据之Hive:正则表达式

Posted 2021-09-08 浊酒南街

目录

• 背景
• 一、正则的通配符简介
• • 1、正则表达式的符号及意义
  • 2、字符簇：
  • 3、各种操作符的运算优先级：
• 二、regexp函数
• 三、regexp_extract函数
• 四、regexp_replace函数

背景

最近在工作中，遇到一些匹配，需要使用正则表达式，发现自己在这一块知识有所欠缺，故总结一下；

一、正则的通配符简介

1、正则表达式的符号及意义

符号	含义	实列
/	做为转意，即通常在"/"后面的字符不按原来意义解释	如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了”/"后，/a/* /将只匹配"a* "
^	匹配一个输入或一行的开头	/^a/匹配"an A"，而不匹配"An a"
$	匹配一个输入或一行的结尾	/a$/匹配"An a"，而不匹配"an A"
*	匹配前面元字符0次或多次	/ba*/将匹配b,ba,baa,baaa
+	匹配前面元字符1次或多次	/ba+/将匹配ba,baa,baaa
?	匹配前面元字符0次或1次	/ba?/将匹配b,ba
(x)	匹配x保存x在名为$1…$9的变量中
x竖y	匹配x或y
{n}	精确匹配n次
{n,}	匹配n次以上
{n,m}	匹配n-m次
[xyz]	字符集(character set)，匹配这个集合中的任一一个字符(或元字符)
[^xyz]	不匹配这个集合中的任何一个字符
/d	匹配一个字数字符	//d/ = /[0-9]/
/D	匹配一个非字数字符	//D/ = /[^0-9]/
/s	匹配一个空白字符，包括/n,/r,/f,/t,/v等
/S	匹配一个非空白字符，等于/[^/n/f/r/t/v]/
/w	匹配一个可以组成单词的字符(alphanumeric，这是我的意译，含数字)，包括下划线，如[/w]匹配"$5.98"中的5，等于[a-zA-Z0-9]
/W	匹配一个不可以组成单词的字符，如[/W]匹配"$5.98"中的 $，等于[^a-zA-Z0-9]

备注：
‘( )’ 标记一个子表达式的开始和结束位置。
‘[]’ 标记一个中括号表达式。
/num 匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。

2、字符簇：

[[:alpha:]] 任何字母。
[[:digit:]] 任何数字。
[[:alnum:]] 任何字母和数字。
[[:space:]] 任何白字符。
[[:upper:]] 任何大写字母。
[[:lower:]] 任何小写字母。
[[:punct:]] 任何标点符号。
[[:xdigit:]] 任何16进制的数字，相当于[0-9a-fA-F]

3、各种操作符的运算优先级：

转义符>圆括号和方括号>限定符>位置和顺序
具体如下：
/ 转义符
(), ( ?: ), (?=), [] 圆括号和方括号
*, +, ?, {n}, {n,}, {n,m} 限定符
^, $, anymetacharacter 位置和顺序
正则表达式的符号及意义

二、regexp函数

语法: A REGEXP B
操作类型: strings
描述: 功能与RLIKE相同

hive> select id,name,birthday,tea_list from stu_info where birthday regexp '\\\\d{8}';
id	name	birthday	tea_list
01	zhangsan	20000308	东邪|西毒|南帝|北丐
02	lisi	20040418	东邪|西毒|南帝
03	wangwu	20011008	西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where tea_list regexp '东邪|北丐';
id	name	birthday	tea_list
01	zhangsan	20000308	东邪|西毒|南帝|北丐
02	lisi	20040418	东邪|西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where birthday not rlike '\\\\d{8}';
id	name	birthday	tea_list
05	tianqi	1994-10-01	西毒|南帝

补充：like （模糊匹配）与rlike的 区别
示例：

hive>select id,name,birthday,tea_list from stu_info where tea_list like '%东邪%';
id	name	birthday	tea_list
01	zhangsan	20000308	东邪|西毒|南帝|北丐
02	lisi	20040418	东邪|西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where birthday not rlike '\\\\d{8}';
id	name	birthday	tea_list
05	tianqi	1994-10-01	西毒|南帝

首先需要明确的是like的内容不是正则，而是通配符。
而rlike的内容可以是正则，正则的写法与java一样。需要转义，例如’\\m’需要使用’\\m’
1，%：表示任意0个或多个字符。可匹配任意类型和长度的字符，有些情况下若是中文，请使用两个百分号（%%）表示

SELECT name FROM stu_info WHERE name LIKE '%三%';

2，_： 表示任意单个字符。匹配单个任意字符，它常用来限制表达式的字符长度语句；

SELECT name FROM stu_info WHERE name LIKE '_三_';
SELECT name FROM stu_info WHERE name LIKE '三_';

3，[ ]：表示括号内所列字符中的一个（类似正则表达式）。指定一个字符、字符串或范围，要求所匹配对象为它们中的任一个。

SELECT name FROM stu_info WHERE name LIKE '[张李王]三';

4，[ ^ ] ：表示不在括号所列之内的单个字符。其取值和 [] 相同，但它要求所匹配对象为指定字符以外的任一个字符。

SELECT name FROM stu_info WHERE name LIKE '[^张李王]三';

三、regexp_extract函数

语法: regexp_extract(string subject, string pattern, int index)
返回值: string
说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符
idx是返回结果 取表达式的哪一部分 默认值为1。
0表示把整个正则表达式对应的结果全部返回
1表示返回正则表达式中第一个() 对应的结果 以此类推。

hive> select regexp_extract('IloveYou','I(.*?)(You)',1) from test1 limit 1;
love
hive> select regexp_extract('IloveYou','I(.*?)(You)',2) from test1 limit 1;
You
hive> select regexp_extract('IloveYou','(I)(.*?)(You)',1) from test1 limit 1;
I
hive> select regexp_extract('IloveYou','(I)(.*?)(You)',0) from test1 limit 1;
IloveYou
hive>select  regexp_extract(create_time,'[0-9]{3}[1-9]-(0[1-9]|1[012])-[0-9]{2}',0) from time_table_1;
2021-08-14
2021-08-15
2021-08-16

四、regexp_replace函数

语法: regexp_replace(string A, string B, string C)
返回值: string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。

hive> select regexp_replace("IloveYou","You","") from test1 limit 1;
Ilove
hive> select regexp_replace("IloveYou","You","lili") from test1 limit 1;
Ilovelili
hive>select date_format (regexp_replace('2017/05/21','/','-'),'yyyy-MM-dd') data_dt;
2017-05-21

参考：https://blog.csdn.net/bitcarmanlee/article/details/51106726