Python正则表达式

Posted 2020-11-18 HackHan技术博客

 

说明：本文主要是根据廖雪峰网站的正则表达式教程学习，并根据需要做了少许修改，此处记录下来以备后续查看。

《Python正则表达式纯代码极简教程》链接：https://www.cnblogs.com/leejack/p/9526661.html

0x01 正则表达式概念及符号含义

掌握正则表达式，只需要记住不同符号所表示的含义，以及对目标对象模式（或规律）的正确概括。

1、基础内容

字符匹配

• 在正则表达式中，如果直接给出字符，就是精确匹配。
• \\d 匹配一个数字
• \\D 匹配一个非数字
• \\w 匹配一个字母、数字或下划线_
• \\W 匹配任何非单词字符,等价于“[^A-Za-z0-9_]"
• \\s 匹配任何空白字符，包括空格、制表符、换页符等等,等价于[ \\f\\n\\r\\t\\v]
• \\S 匹配任何非空白字符
• \\n 匹配一个换行符
• \\r 匹配一个回车符
• \\t 匹配一个制表符

数量匹配

• .匹配除“\\n"之外的任何单个字符
• *匹配前面的子表达式零次或多次
• +匹配前面的子表达式一次或多次
• ?匹配前面的子表达式零次或一次
• {n}，n是一个非负整数，匹配确定的n次
• {n,m}，m和n均为非负整数，其中n<=m，最少匹配n次且最多匹配m次
• {n,}，n是一个非负整数，至少匹配n次
• {,m} 匹配前面的正则表达式最多m次

范围匹配

• x|y 匹配x或y
• [xyz] 字符集合,匹配所包含的任意一个字符
• [^xyz] 负值字符集合,匹配未包含的任意字符
• [a-z] 字符范围,匹配指定范围内的任意字符
• [^a-z] 负值字符范围,匹配任何不在指定范围内的任意字符

 

来看一个稍微复杂的例子：\\d{3,4}\\s+\\d{3,8}
我们来从左到右解读一下：

1. \\d{3,4}表示匹配3到4个数字，例如\'010\'、\'0755\'；
2. \\s可以匹配一个空格（也包括Tab等空白符），所以\\s+表示至少有一个空格，例如匹配\' \'，\' \'等；
3. \\d{3,8}表示3-8个数字，例如\'1234567\'。

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。

如果要匹配\'010-12345\'、\'0755-26776666\'这样的号码呢？
由于\'-\'是特殊字符，在正则表达式中，要用\'\\\'转义，所以，上面的正则是\\d{3,4}\\-\\d{3,8}。

但是，仍然无法匹配\'010 - 12345\'，因为带有空格。所以我们需要更复杂的匹配方式。

2、进阶内容

要做更精确地匹配，可以用[]表示范围，比如：

• [0-9a-zA-Z\\_]可以匹配一个数字、字母或者下划线；
• [0-9a-zA-Z\\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如\'a100\'，\'0_Z\'，\'Py3000\'等等；
• [a-zA-Z\\_][0-9a-zA-Z\\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；
• [a-zA-Z\\_][0-9a-zA-Z\\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。
• A|B可以匹配A或B，所以(P|p)ython可以匹配\'Python\'或者\'python\'。
• ^表示行的开头，^\\d表示必须以数字开头。
• $表示行的结束，\\d$表示必须以数字结束。

你可能注意到了，py也可以匹配\'python\'，但是加上^py$就变成了只能匹配以\'py\'开头的字符串，
所以，如果某个字符串为\'I love python\'，那么就无法匹配到，因为它不是以py开头。

3、正则表达式使用场景

• 判断某个字符串是否匹配特定的模式
• 切分字符串
• 提取特定模式的字符串
• 将指定模式的字符串进行替换

0x02 Python中正则表达式模块re

1、判断某个字符串是否匹配特定的模式

前面区号+电话号码的例子

# 导入re模块
import re

# 匹配
result = re.match(r\'\\d{3,4}\\-\\d{3,8}$\',\'020-12345\')
print(result)

# 不匹配
result2 = re.match(r\'\\d{3,4}\\-\\d{3,8}$\',\'020 12345\')
print(result2)

# match()方法判断是否匹配，如果匹配成功，返回一个Match对象，否则返回None。
# 常见的判断方法就是：

# 带判断的字符串
test = \'020-12345\'
if re.match(r\'\\d{3,4}\\-\\d{3,8}$\', test):
    print(\'match\')
else:
    print(\'not match\')

小练习：判断给定的邮箱地址是否是NETEC邮箱

• 假设NETEC公司的邮箱格式为姓+.+名字+数字[e-mail]。
• 其中数字不是必须的，只有相同名字的员工有多个时，才会存在数字
• 并且姓名拼音或英文都会使用小写字母，而不会使用大写字母

email = \'[e-mail]\'

pattern = r\'^[a-z]{1,}\\.[a-z]+\\d*@netec.com.cn$\'

if re.match(pattern,email):
　　print(\'是NETEC邮箱\')
else:
　　print(\'不是NETEC邮箱\')

2、切分字符串

用正则表达式切分字符串比用固定的字符更灵活，请看正常的切分代码：

result3 = \'a b c\'.split(\' \')
print(result3)

无法识别连续的空格，用正则表达式试试:

result4 = re.split(r\'\\s+\', \'a b c\')
print(result4)

无论多少个空格都可以正常分割。加入","试试：

result5 = re.split(r\'[\\s\\,]+\', \'a,b,, c d\')
print(result5)

再加入";"试试：

result6 = re.split(r\'[\\s\\,\\;]+\', \'a,b;; c d\')
print(result6)

3、提取特定模式的字符串

除了简单地判断是否匹配之外，正则表达式还有提取子串的强大功能。
用()表示的就是要提取的分组（Group）。比如：^(\\d{3,4})-(\\d{3,8})$
分别定义了两个组，可以直接从匹配的字符串中提取出区号和本地号码：

m = re.match(r\'^(\\d{3,4})-(\\d{3,8})$\', \'0755-12345\')
print(m)
print(m.group(0)) # 匹配的整个字符串
print(m.group(1)) # 匹配的第一个小括号的内容，即第一个匹配的子串
print(m.group(2)) # 匹配的第二个小括号的内容，即第二个匹配的子串

一个复杂的例子,提起给定时间字符串中的小时、分钟、秒

t = \'19:05:30\'
m = re.match(r\'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])\\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$\', t)
print(m.groups())
print(m.group(1))
print(m.group(2))
print(m.group(3))

其实上面也有更简便的写法：

t = \'19:05:30\'
m = re.match(r\'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\\:([0-5]?[0-9])\\:([0-5]?[0-9])$\', t)
print(m.groups())
print(m.group(1))
print(m.group(2))
print(m.group(3))

4、将指定模式的字符串进行替换

result = re.sub(\'[ae]\',\'X\',\'abcdefghi\')
print(result)

result = re.subn(\'[ae]\',\'X\',\'abcdef\')
print(result)

5、贪婪匹配 vs 非贪婪匹配

正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的0：

result7 = re.match(r\'^(\\d+)(0*)$\', \'102300\').groups()
print(result7)

由于\\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了。
必须让\\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，
加个?就可以让\\d+采用非贪婪匹配：

result8 = re.match(r\'^(\\d+?)(0*)$\', \'102300\').groups()
print(result8)

6、正则表达式的编译

当我们在Python中使用正则表达式时，re模块内部会干两件事情：

1. 编译正则表达式，如果正则表达式的字符串本身不合法，会报错；
2. 用编译后的正则表达式去匹配字符串。

如果一个正则表达式要重复使用几千次，出于效率的考虑，我们可以预编译该正则表达式，
接下来重复使用时就不需要编译这个步骤了，直接匹配：

# 编译
re_telephone = re.compile(r\'^(\\d{3,4})-(\\d{3,8})$\')

# 直接使用
print(re_telephone.match(\'010-12345\').groups())

# 直接使用
print(re_telephone.match(\'010-8086\').groups())

编译后生成Regular Expression对象，由于该对象自己包含了正则表达式，
所以调用对应的方法时不用给出正则字符串。

7、re模块中常用的几个函数

（1）compile() 

compile() 编译正则表达式模式，返回一个对象的模式，这样某个模式编译一次就可以在程序中多次使用

import re
tt = "Tina is a good girl, she is cool, clever, and so on..."
rr = re.compile(r\'\\w*oo\\w*\')
print(rr.findall(tt)) #查找所有包含\'oo\'的单词

（2）match() 

match() 决定RE是否在字符串刚开始的位置匹配。//注：这个方法并不是完全匹配。

当pattern结束时若string还有剩余字符，仍然视为成功。想要完全匹配，可以在表达式末尾加上边界匹配符\'$\'

print(re.match(\'com\',\'comwww.runcomoob\').group())

（3）search()

re.search函数会在字符串内查找模式匹配,只要找到第一个匹配然后返回，如果字符串没有匹配，则返回None。

print(re.search(\'\\dcom\',\'www.4comrunoob.5com\').group())

（4）findall() 

findall() 遍历匹配，可以获取字符串中所有匹配的字符串，返回一个列表。

p = re.compile(r\'\\d+\')
print(p.findall(\'o1n2m3k4\'))

（5）finditer() 

finditer() 搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。找到 RE 匹配的所有子串，并把它们作为一个迭代器返回。

iter = re.finditer(r\'\\d+\',\'12 drumm44ers drumming, 11 ... 10 ...\')
for i in iter:
print(i)
print(i.group())
print(i.span())

（6）split()

split() 按照能够匹配的子串将string分割后返回列表。
可以使用re.split来分割字符串，如：re.split(r\'\\s+\', text)；将字符串按空格分割成一个单词列表。

print(re.split(\'\\d+\',\'one1two2three3four4five5\'))

（7）sub() 

sub() 使用re替换string中每一个匹配的子串后返回替换后的字符串。

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
print(re.sub(r\'\\s+\', \'-\', text))

（8）subn() 

subn() 使用re替换string中每一个匹配的子串后返回替换后的字符串，并返回替换次数

print(re.subn(\'[1-2]\',\'A\',\'123456abcdef\'))
print(re.sub("g.t","have",\'I get A, I got B ,I gut C\'))
print(re.subn("g.t","have",\'I get A, I got B ,I gut C\'))

 0x03 参考链接

• https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386832260566c26442c671fa489ebc6fe85badda25cd000
• http://www.runoob.com/python3/python3-reg-expressions.html
• https://www.cnblogs.com/tina-python/p/5508402.html
• https://www.jb51.net/tools/regexsc.htm